致教師
對(duì)于物理、化學(xué)或生物學(xué)這樣的學(xué)科而言，我們學(xué)習(xí)一門(mén)學(xué)科是為了解決這門(mén)學(xué)科的問(wèn)題，而統(tǒng)計(jì)學(xué)與這些學(xué)科不同，研究統(tǒng)計(jì)學(xué)的主要目的是解決其他學(xué)科的問(wèn)題.
——C.R.Rao，現(xiàn)代統(tǒng)計(jì)學(xué)的先驅(qū)之一
教育的作用是教人認(rèn)真思考和批判性思考.智慧與品格——這才是教育的真正目標(biāo).
——馬丁·路德·金博士，美國(guó)民權(quán)領(lǐng)袖
其萬(wàn)折也必東，似志.
——孔子，中國(guó)古代哲學(xué)家
本書(shū)主要是為數(shù)據(jù)科學(xué)（包括計(jì)算機(jī)科學(xué)）專業(yè)學(xué)生設(shè)計(jì)的概率與統(tǒng)計(jì)教材，涵蓋初級(jí)/高級(jí)/研究生水平的概率論和統(tǒng)計(jì)學(xué)知識(shí).除微積分外，本書(shū)還要求學(xué)生掌握一些矩陣代數(shù)知識(shí)并具備基本的計(jì)算機(jī)編程能力.
但是，這本書(shū)為什么不同于其他概率論和數(shù)理統(tǒng)計(jì)教材呢？
事實(shí)上，這本書(shū)確實(shí)與其他概率論與數(shù)理統(tǒng)計(jì)方面的書(shū)完全不同.簡(jiǎn)要概括如下：
●本書(shū)英文版的副書(shū)名是Math+R+Data，這里直接體現(xiàn)了本書(shū)與其他數(shù)理統(tǒng)計(jì)類書(shū)籍的不同.
●強(qiáng)調(diào)數(shù)據(jù)科學(xué)應(yīng)用，例如，隨機(jī)圖模型、冪律分布、隱馬爾可夫模型、主成分分析、谷歌PageRank、遙感、混合分布、神經(jīng)網(wǎng)絡(luò)、維數(shù)災(zāi)難等.
●廣泛使用R語(yǔ)言.
與其他數(shù)理統(tǒng)計(jì)類書(shū)籍相比，本書(shū)特別強(qiáng)調(diào)應(yīng)用，使用了大量的真實(shí)數(shù)據(jù).
本書(shū)從應(yīng)用的角度出發(fā)組織內(nèi)容，注重培養(yǎng)學(xué)生批判性思考使用統(tǒng)計(jì)學(xué)的方式和原因，并使學(xué)生具有“全局觀”.
●使用真實(shí)數(shù)據(jù)，并及早地引入統(tǒng)計(jì)問(wèn)題.
前面的Rao語(yǔ)錄引起了我的強(qiáng)烈共鳴.雖然這是一本“數(shù)理統(tǒng)計(jì)”教材，涵蓋了隨機(jī)變量、密度函數(shù)、期望值、分布、統(tǒng)計(jì)估計(jì)和推斷等，但是正如本書(shū)書(shū)名所體現(xiàn)的，本書(shū)特別強(qiáng)調(diào)這些知識(shí)在數(shù)據(jù)科學(xué)中的應(yīng)用.作為一本關(guān)于數(shù)據(jù)科學(xué)的書(shū)，即使只是一本數(shù)理統(tǒng)計(jì)書(shū)，也應(yīng)該充分利用數(shù)據(jù)！
這對(duì)本書(shū)章節(jié)的順序有影響.我們很早地引入了統(tǒng)計(jì)學(xué)，并在正文中穿插著統(tǒng)計(jì)問(wèn)題.甚至是在介紹數(shù)學(xué)期望的第3章，也包括一些簡(jiǎn)單的預(yù)測(cè)模型，為學(xué)習(xí)第15章的內(nèi)容作鋪墊.第5章介紹著名的離散參數(shù)模型，并包含用冪律分布擬合真實(shí)數(shù)據(jù)的例子.這是第7章的前奏，之后在第7章將討論抽樣分布、均值和方差估計(jì)、偏差等知識(shí).第8章介紹點(diǎn)估計(jì)，并利用極大似然估計(jì)和矩方法對(duì)真實(shí)數(shù)據(jù)進(jìn)行模型擬合.從該章起，后面每一章都廣泛使用了真實(shí)數(shù)據(jù).
因?yàn)檫@些數(shù)據(jù)集都是公開(kāi)的，所以授課教師可以深入研究這些數(shù)據(jù)示例.
●數(shù)學(xué)上正確——還要有很好的直覺(jué).
前面給出的孔子的這句話雖然早在統(tǒng)計(jì)方法正式發(fā)展之前就有了，但是這表明他已經(jīng)具有敏銳的直覺(jué)，預(yù)見(jiàn)了當(dāng)今數(shù)據(jù)科學(xué)領(lǐng)域的一個(gè)基本概念——數(shù)據(jù)平滑.培養(yǎng)學(xué)生的這種強(qiáng)烈的直覺(jué)是本書(shū)的重中之重.
這當(dāng)然是一本數(shù)學(xué)書(shū).所有模型、概念等都是用隨機(jī)變量和分布來(lái)精確描述的.除了微積分之外，矩陣代數(shù)也扮演著重要的角色.在許多章節(jié)的后都增加了選學(xué)的數(shù)學(xué)補(bǔ)充內(nèi)容，以便為好奇的讀者提供更多材料，探索更復(fù)雜的內(nèi)容.每章后的練習(xí)都包括一些常規(guī)練習(xí)題和一些更具挑戰(zhàn)性的問(wèn)題.
另外，這本書(shū)不是為了數(shù)學(xué)而“數(shù)學(xué)”的書(shū)，盡管用數(shù)學(xué)語(yǔ)言對(duì)相關(guān)內(nèi)容描述得很精確，但它絕不是一本理論書(shū).
例如，本書(shū)并沒(méi)有從樣本空間和集合論的角度來(lái)定義概率.以我的經(jīng)驗(yàn)，用經(jīng)典的方式定義概率是學(xué)習(xí)這些概念背后的直覺(jué)的一個(gè)主要障礙，也阻礙了后面做好應(yīng)用工作.相反，我使用直覺(jué)的、非形式化的方法，從長(zhǎng)期頻率的角度來(lái)定義概率，本質(zhì)上是把強(qiáng)大數(shù)定律作為一個(gè)公理.
我相信這種方法在解釋條件概率和期望值時(shí)特別有用，這些概念是學(xué)生們常遇到的難題.在經(jīng)典的方法下，如果題目敘述沒(méi)有給定明確的短語(yǔ)（如給定條件下），學(xué)生們很難識(shí)別出這個(gè)練習(xí)（甚至是實(shí)際應(yīng)用）需要條件概率或期望.相反，我是讓學(xué)生從反復(fù)試驗(yàn)的角度來(lái)思考，在B發(fā)生的時(shí)間里，A發(fā)生了多少次？這更容易與實(shí)際相聯(lián)系.
●提高學(xué)生的實(shí)際應(yīng)用能力.
“應(yīng)用”這個(gè)詞對(duì)于不同的人意味著不同的事.例如，Mitzenmacher和Upfal\[33\]為計(jì)算機(jī)科學(xué)專業(yè)的學(xué)生編寫(xiě)了一本有趣而優(yōu)雅的書(shū)，他所關(guān)注的概率實(shí)際上是離散型概率，他的預(yù)期應(yīng)用實(shí)際上是針對(duì)計(jì)算機(jī)科學(xué)的理論.
相反，我關(guān)注的是在現(xiàn)實(shí)世界中使用這些知識(shí)，這往往涉及更多的是連續(xù)型而不是離散型概率，并且更多的是在統(tǒng)計(jì)學(xué)而不是概率論領(lǐng)域.這尤其有價(jià)值，因?yàn)楝F(xiàn)在大數(shù)據(jù)和機(jī)器學(xué)習(xí)在計(jì)算機(jī)和數(shù)據(jù)科學(xué)中發(fā)揮著重要的作用.
你馬上可以在書(shū)中看到這種哲學(xué).這本書(shū)的個(gè)例子不是關(guān)于骰子或硬幣的，而是涉及公交系統(tǒng)模型和計(jì)算機(jī)網(wǎng)絡(luò)模型.當(dāng)然，書(shū)中也有使用骰子、硬幣和游戲的例子，但是，就像已故的Leo Breiman的書(shū)\[5\]的副書(shū)名一樣，“著眼于應(yīng)用”（With a View toward Applications）永遠(yuǎn)不會(huì)遙遠(yuǎn).
如果我可以冒昧地引述馬丁·路德·金的話，我要指出的是，今天的統(tǒng)計(jì)學(xué)是一個(gè)核心的知識(shí)領(lǐng)域，它幾乎影響著每個(gè)人的日常生活.具有使用統(tǒng)計(jì)數(shù)據(jù)或者至少可以理解統(tǒng)計(jì)數(shù)據(jù)的能力，對(duì)于我們來(lái)說(shuō)至關(guān)重要.作為本書(shū)的作者，我將此視為一項(xiàng)使命.
●R編程語(yǔ)言的使用.
出于模擬和數(shù)據(jù)分析的目的，本書(shū)利用了R語(yǔ)言中一些輕量級(jí)的程序.學(xué)生應(yīng)該具有一些基本的編程背景，比如說(shuō)Python、C、Java或R中的一個(gè)，但是無(wú)須