第1章基本概念
本章主要介紹統(tǒng)計(jì)學(xué)中的基本概念，主要內(nèi)容包括統(tǒng)計(jì)模型與常用分布族、統(tǒng)計(jì)量及其分布、充分統(tǒng)計(jì)量、完備統(tǒng)計(jì)量、指數(shù)型分布族。這些內(nèi)容將為后面各章的學(xué)習(xí)提供幫助。
1.1統(tǒng)計(jì)模型與常用分布族
統(tǒng)計(jì)學(xué)方法和理論的研究是基于某個(gè)統(tǒng)計(jì)模型展開(kāi)的，而對(duì)統(tǒng)計(jì)模型的討論涉及分布族。因此，統(tǒng)計(jì)模型與分布族在統(tǒng)計(jì)學(xué)中扮演著重要角色。本節(jié)首先引入統(tǒng)計(jì)模型的概念，然后介紹一些常用的分布族。
1.1.1統(tǒng)計(jì)模型
在開(kāi)始學(xué)習(xí)統(tǒng)計(jì)學(xué)之前，首先要明白什么是統(tǒng)計(jì)學(xué)�！洞笥�百科全書(shū)》的解釋是：統(tǒng)計(jì)學(xué)(Statistics)是一門(mén)收集與分析數(shù)據(jù)，并且根據(jù)數(shù)據(jù)進(jìn)行推斷的藝術(shù)與科學(xué)。按照上述對(duì)統(tǒng)計(jì)學(xué)的解釋，我們可以看出統(tǒng)計(jì)學(xué)有兩個(gè)主要任務(wù)：一是收集數(shù)據(jù)；二是分析數(shù)據(jù)，**個(gè)任務(wù)的內(nèi)容屬于統(tǒng)計(jì)學(xué)中的兩門(mén)課程抽樣調(diào)查和試驗(yàn)設(shè)計(jì)；第二個(gè)任務(wù)需要利用各種統(tǒng)計(jì)方法來(lái)完成本書(shū)僅考慮第二個(gè)任務(wù)，即討論如何對(duì)已有的數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析的問(wèn)題。由于數(shù)據(jù)來(lái)源于自然和社會(huì)的各個(gè)方面，應(yīng)用是統(tǒng)計(jì)學(xué)的一個(gè)十分重要的特征，但實(shí)際應(yīng)用更需要理論為基礎(chǔ)。
因此，本書(shū)不但介紹統(tǒng)計(jì)學(xué)中的基本概念和方法，而且也涉及主要的統(tǒng)計(jì)理論。
在統(tǒng)計(jì)學(xué)中，數(shù)據(jù)是樣本的觀測(cè)值，數(shù)據(jù)分析的目的是利用樣本來(lái)對(duì)事物的某些未知方面進(jìn)行統(tǒng)計(jì)推斷或預(yù)測(cè)。假定樣本X的一切可能取值為X，那么通常稱X為樣本空間，稱(X；B)為可測(cè)空間，其中B是X的某些子集構(gòu)成的.域 .依X的分布而從X中隨機(jī)抽出的一個(gè)元素就是樣本對(duì)一維總體，容量為n的樣本X記為(X1；￠￠￠；Xn).，其中 \."表示向量或矩陣的轉(zhuǎn)置，此時(shí)樣本空間X是n維歐氏空間Rn或Rn的某個(gè)Borel子集，而取X的一切Borel子集作為 B.這樣的樣本空間稱為歐氏樣本空間對(duì)于k維總體，也可以作類似理解。有了這個(gè)約定，我們就不必在每個(gè)場(chǎng)合下對(duì)樣本空間進(jìn)行說(shuō)明了。
隨機(jī)變量X有一定的概率分布F.大家知道，在概率論中F是給定的，概率和數(shù)字特征的計(jì)算是在F已知的情況下進(jìn)行的對(duì)統(tǒng)計(jì)學(xué)中的問(wèn)題，F(xiàn)總是未知的，或僅知道其形式而其中含有未知參數(shù)。因此，我們可以把這個(gè)意思說(shuō)成：F屬于某個(gè)分布族F.它在特定的統(tǒng)計(jì)問(wèn)題中有具體的含義。當(dāng)F是樣本分布時(shí)，F(xiàn)稱為樣本分布族；而當(dāng)F是總體分布時(shí)，F(xiàn)則稱為總體分布族。二者統(tǒng)稱為分布族，但其含義有些差別。例如，如果總體eX有分布eF，從eX中抽取獨(dú)立同分布(iid)樣本X1；￠￠￠；Xn，則X=(X1；￠￠￠；Xn).有分布F=eF￡￠￠￠￡eF，它完全由eF所決定。我們可以把樣本X1；￠￠￠；Xn視為在完全同等的條件下對(duì)eX所作的n次獨(dú)立觀測(cè)值，此時(shí)通常把由eX的分布 eF所構(gòu)成的集合稱為總體分布族，它決定了樣本X的分布族||樣本分布族。因此在這個(gè)特例下，總體分布族與樣本分布族有不同的含義。
樣本空間X、.域B和樣本分布族F構(gòu)成了一個(gè)統(tǒng)計(jì)問(wèn)題的三個(gè)基本要素。我們稱三元組(X；B；F)為統(tǒng)計(jì)模型。如果分布族F僅依賴于某一個(gè)參數(shù)(或參數(shù)向量)μ，則稱該模型為參數(shù)(統(tǒng)計(jì))模型，并稱F為參數(shù)分布族。如果F中的分布不能用有限個(gè)參數(shù)來(lái)刻畫(huà)，則稱該模型為非參數(shù)(統(tǒng)計(jì))模型，并稱F為非參數(shù)分布族。例如，設(shè)F1=fFμ： μ2￡g，其中μ為參數(shù)，￡為參數(shù)空間，那么(X；B；F1)為參數(shù)模型，其中F1為參數(shù)分布族。又如，設(shè)F2=fF：F 為實(shí)數(shù)集R上的對(duì)稱分布g，那么(X；B；F2)為非參數(shù)模型，其中F2為非參數(shù)分布族。
在實(shí)踐中，對(duì)具體問(wèn)題可以借助于專業(yè)知識(shí)和經(jīng)驗(yàn)積累來(lái)確定統(tǒng)計(jì)模型。人們通常希望從參數(shù)模型出發(fā)來(lái)研究統(tǒng)計(jì)學(xué)中的問(wèn)題，因?yàn)閰��?shù)模型含有較多的信息，由此出發(fā)可以獲得精度較高的參數(shù)估計(jì)。但這樣做要承擔(dān)一定的風(fēng)險(xiǎn)，這是因?yàn)楫?dāng)參數(shù)模型不真時(shí)，統(tǒng)計(jì)推斷結(jié)果可能會(huì)偏離實(shí)際，甚至與實(shí)際相背離。如果選用非參數(shù)模型，所冒風(fēng)險(xiǎn)就會(huì)很小，因?yàn)榉菂��?shù)模型適應(yīng)面廣，但它所含的信息較少，統(tǒng)計(jì)推斷結(jié)果的精度一般不會(huì)很高。在這兩類模型下所用的統(tǒng)計(jì)推斷方法有很大差別，這就形成了統(tǒng)計(jì)學(xué)中的兩類方法||參數(shù)統(tǒng)計(jì)方法和非參數(shù)統(tǒng)計(jì)方法。
在20世紀(jì)80年代，人們提出了另一類模型||半?yún)��?shù)模型部分線性模型就是其中的一種，即有形式
E(YjX=x；U=u)=ˉ.x+g(u)；(1.1.1)
其中ˉ=(ˉ1；￠￠￠；ˉp).為p維未知參數(shù)向量，g(u)為定義在某區(qū)間上的未知函數(shù)。模型(1.1.1)由兩部分構(gòu)成：**部分ˉ.x為x=(x1；￠￠￠；xp).的線性組合；第二部分g(u)為u的非線性函數(shù)。因此稱它為部分線性模型。該模型不能作為參數(shù)模型，因?yàn)?X；U；Y)的分布族不能通過(guò)有限個(gè)參數(shù)來(lái)刻畫(huà)。由于模型(1.1.1)的**部分是參數(shù)性的，而第二部分是非參數(shù)性的，因此它應(yīng)歸入半?yún)��?shù)模型。按照這一思想，可以舉出其他一些半?yún)��?shù)模型的例子。例如，單指標(biāo)模型、部分線性單指標(biāo)模型、部分線性變系數(shù)模型、可加部分線性模型等。對(duì)半?yún)��?shù)模型的討論超出了本書(shū)的范圍，這里不再贅述。
本書(shū)主要討論參數(shù)模型及參數(shù)統(tǒng)計(jì)方法，但也涉及非參數(shù)統(tǒng)計(jì)方法。關(guān)于非參數(shù)模型及非參數(shù)統(tǒng)計(jì)方法的詳細(xì)討論，可以閱讀相關(guān)的非參數(shù)統(tǒng)計(jì)書(shū)籍，例如，陳希孺和柴根象(1993)，孫山澤(2000)，王靜龍和梁小筠(2006)，李竹渝與魯萬(wàn)波和龔金國(guó)(2007)，薛留根(2013，2015)等。對(duì)于半?yún)��?shù)模型的討論，可參閱柴根象和洪圣巖 (1995)、薛留根(2012)等人的著作。
下面引入可控分布族和可控模型的概念。為此，我們從測(cè)度的**連續(xù)性談起。
定義1.1.1設(shè)(X；B；F)為一統(tǒng)計(jì)模型。如果在可測(cè)空間(X；B)上存在這樣一個(gè).有限測(cè)度1，使得F中每一個(gè)概率分布F對(duì)1都是**連續(xù)的，即對(duì)任意F2F，都有F.1，則稱F為可控分布族，稱(X；B；F)為可控模型，并稱1為控制測(cè)度，相應(yīng)的Radon-Nikodym導(dǎo)數(shù)dF=d1稱為密度函數(shù)，簡(jiǎn)稱為密度。對(duì)控制測(cè)度1，如無(wú)特殊聲明，均指非負(fù)測(cè)度。統(tǒng)計(jì)學(xué)中常用來(lái)作控制的有限測(cè)度有兩種：計(jì)數(shù)測(cè)度和Lebesgue測(cè)度。下面舉例加以說(shuō)明。
例1.1.1(計(jì)數(shù)測(cè)度)設(shè)X=R；B是直線上一切Borel集組成的.域，在(X；B)上定義如下測(cè)度：
1(B)=B中非負(fù)整數(shù)的個(gè)數(shù)；8B2B：容易驗(yàn)證，測(cè)度1是.有限測(cè)度，并稱為計(jì)數(shù)測(cè)度。它可以用來(lái)控制任一個(gè)定義在非負(fù)整數(shù)集合N(或其子集)上的概率分布族，其Radon-Nikodym導(dǎo)數(shù)就是通常的概率分布列。如對(duì)Poisson分布族來(lái)說(shuō)，任一個(gè)不含非負(fù)整數(shù)的Borel集A的計(jì)數(shù)測(cè)度1(A)為零，而在這樣的集合上Poisson概率P(A)必為零。
今后對(duì)離散型隨機(jī)變量的分布所談?wù)摰拿芏群瘮?shù)，就是指該分布對(duì)計(jì)數(shù)測(cè)度的Radon-Nikodym導(dǎo)數(shù)。下面給出 Lebesgue測(cè)度的定義。
例1.1.2(Lebesgue測(cè)度)設(shè)X=R；B是直線上的一切Borel集組成的。
域，在(X；B)上基于區(qū)間長(zhǎng)度定義Lebesgue測(cè)度1(B)=B中不相交區(qū)間的長(zhǎng)度之和或其極限；8B2B：容易驗(yàn)證， Lebesgue測(cè)度是有限測(cè)度，它可以控制任一個(gè)定義在實(shí)數(shù)集R上的連續(xù)分布F，其Radon-Nikodym導(dǎo)數(shù)就是通常的密度函數(shù)f(x)。
一般來(lái)說(shuō)，對(duì)于一個(gè)參數(shù)模型(X；B；F)，如果分布族F=fFμ；μ2￡g是可控的，其控制測(cè)度為1，則相應(yīng)的密度函數(shù)也依賴于參數(shù)μ，即
dFμ(x)d1=f(x；μ)；μ2￡：
此時(shí)，可控分布族也可以用密度函數(shù)f(x；μ)表示，即
(X；B；ff(x；μ)：μ2￡g)：
存在既不被計(jì)數(shù)測(cè)度控制，又不被Lebesgue測(cè)度控制的分布族。一個(gè)特殊的例子是Marshall-Olkin的二元指數(shù)族。對(duì)該分布族的詳細(xì)討論可參閱茆詩(shī)松等(2006)的著作，這里不再贅述。
1.1.2常用分布族
在統(tǒng)計(jì)模型(X；B；F)中，樣本空間X和.域B是不可缺少的，它指出了樣本的取值范圍以及應(yīng)討論哪一類事件是有意義的。但分布族F是統(tǒng)計(jì)模型的核心，它在統(tǒng)計(jì)推斷中起著重要作用。在概率論與數(shù)理統(tǒng)計(jì)的教科書(shū)中已介紹過(guò)一些常用的分布族，其中包括：
(1)二項(xiàng)分布族fB(n；μ)：0<μ<1g；
(2)Poisson分布族fP(.)：.>0g；
(3)正態(tài)分布族fN(1；.2)：(1；.2)2R￡R+g，其中R+是正實(shí)數(shù)集；
(4)均勻分布族fU(a；b)：.1這些分布族及其性質(zhì)都是大家所熟悉的，這里不再一一贅述。此外，在統(tǒng)計(jì)學(xué)中還經(jīng)常涉及另外的一些分布族，它們是：Gamma分布族、Beta分布族、t分布族、F分布族等。下面逐個(gè)介紹這些分布族。
(i)Gamma分布的密度曲線當(dāng)固定尺度參數(shù)。改變.的值將導(dǎo)致Gamma分布的密度曲線形狀的改變。圖1.1.1給出了不同值下的Gamma分布的密度曲線。從圖中可以得到如下結(jié)論：當(dāng).61時(shí)，f(x)是嚴(yán)減函數(shù)；當(dāng)1<.62時(shí)，f(x) 先凸后凹；當(dāng).>2時(shí)，f(x)先其中自由度n可為任意正實(shí)數(shù)，但在實(shí)際問(wèn)題中常用的自由度n為自然數(shù)，并編制了2 分布表。
(6)Beta分布族。Beta分布的密度函數(shù)為
記為Be(a；b)，其中a和b是正的參數(shù)。Beta分布族記為fBe(a；b)：a>0；b>0g。
對(duì)Beta分布族作如下解釋。
(i)Beta分布的密度曲線。參數(shù)a和b的值的改變將導(dǎo)致Beta分布的密度曲線形狀的改變。圖1.1.2在a和b的不同值下給出了幾種特殊的Beta分布的密度曲線。從圖中可以得到如下結(jié)論：當(dāng)a<1和b<1時(shí)，f(x)的曲線呈U型，在 (1.a)=(2.a.b)處達(dá)到*小值，特別地，對(duì)a=b=0：5，該分布為反正弦分布，對(duì)a=b=1，該分布就是區(qū)間(0；1)上的均勻分布，記為U(0；1)；當(dāng)a>1和b>1時(shí)，
f(x)的曲線呈單峰狀，在(a.1)=(a+b.2)處達(dá)到**值；當(dāng)a61和b>1時(shí)，
f(x)是嚴(yán)減函數(shù)；當(dāng)a>1和b61時(shí)，f(x)是嚴(yán)增函數(shù)。