版權(quán)聲明

獻(xiàn)詞

譯者序

第　1章 數(shù)據(jù)分析簡(jiǎn)介　1

1.1　數(shù)據(jù)分析　1

1.2　數(shù)據(jù)分析師的知識(shí)范疇　2

1.2.1　計(jì)算機(jī)科學(xué)　2

1.2.2　數(shù)學(xué)和統(tǒng)計(jì)學(xué)　3

1.2.3　機(jī)器學(xué)習(xí)和人工智能　3

1.2.4　數(shù)據(jù)來源領(lǐng)域　3

1.3　理解數(shù)據(jù)的性質(zhì)　4

1.3.1　數(shù)據(jù)到信息的轉(zhuǎn)變　4

1.3.2　信息到知識(shí)的轉(zhuǎn)變　4

1.3.3　數(shù)據(jù)的類型　4

1.4　數(shù)據(jù)分析過程　4

1.4.1　問題定義　5

1.4.2　數(shù)據(jù)抽取　6

1.4.3　數(shù)據(jù)準(zhǔn)備　6

1.4.4　數(shù)據(jù)探索和可視化　7

1.4.5　預(yù)測(cè)建�！�7

1.4.6　模型驗(yàn)證　8

1.4.7　部署　8

1.5　定量和定性數(shù)據(jù)分析　9

1.6　開放數(shù)據(jù)　9

1.7　Python和數(shù)據(jù)分析　10

1.8　結(jié)論　11

第　2章 Python世界簡(jiǎn)介　12

2.1　Python編程語言　12

2.2　Python 2和Python 3　14

2.2.1　安裝Python　15

2.2.2　Python發(fā)行版　15

2.2.3　使用Python　17

2.2.4　編寫Python代碼　18

2.2.5　IPython　22

2.3　PyPI倉(cāng)庫(kù)Python包索引　25

2.4　SciPy　29

2.4.1　NumPy　29

2.4.2　pandas　29

2.4.3　matplotlib　30

2.5　小結(jié)　30

第3章　NumPy庫(kù)　31

3.1　NumPy簡(jiǎn)史　31

3.2　NumPy安裝　31

3.3　ndarray：NumPy庫(kù)的心臟　32

3.3.1　創(chuàng)建數(shù)組　33

3.3.2　數(shù)據(jù)類型　34

3.3.3　dtype選項(xiàng)　34

3.3.4　自帶的數(shù)組創(chuàng)建方法　35

3.4　基本操作　36

3.4.1　算術(shù)運(yùn)算符　36

3.4.2　矩陣積　37

3.4.3　自增和自減運(yùn)算符　38

3.4.4　通用函數(shù)　39

3.4.5　聚合函數(shù)　39

3.5　索引機(jī)制、切片和迭代方法　40

3.5.1　索引機(jī)制　40

3.5.2　切片操作　41

3.5.3　數(shù)組迭代　42

3.6　條件和布爾數(shù)組　44

3.7　形狀變換　44

3.8　數(shù)組操作　45

3.8.1　連接數(shù)組　45

3.8.2　數(shù)組切分　46

3.9　常用概念　48

3.9.1　對(duì)象的副本或視圖　48

3.9.2　向量化　48

3.9.3　廣播機(jī)制　49

3.10　結(jié)構(gòu)化數(shù)組　51

3.11　數(shù)組數(shù)據(jù)文件的讀寫　52

3.11.1　二進(jìn)制文件的讀寫　53

3.11.2　讀取文件中的列表形式數(shù)據(jù)　53

3.12　小結(jié)　54

第4章pandas庫(kù)簡(jiǎn)介　55

4.1　pandas：Python數(shù)據(jù)分析庫(kù)　55

4.2　安裝pandas　56

4.2.1　用Anaconda安裝　56

4.2.2　用PyPI安裝　56

4.2.3　在Linux系統(tǒng)的安裝方法　57

4.2.4　用源代碼安裝　57

4.2.5　Windows模塊倉(cāng)庫(kù)　57

4.3　測(cè)試pandas是否安裝成功　57

4.4　開始pandas之旅　58

4.5　pandas數(shù)據(jù)結(jié)構(gòu)簡(jiǎn)介　58

4.5.1　Series對(duì)象　59

4.5.2　DataFrame對(duì)象　65

4.5.3　Index對(duì)象　71

4.6　索引對(duì)象的其他功能　72

4.6.1　更換索引　72

4.6.2　刪除　74

4.6.3　算術(shù)和數(shù)據(jù)對(duì)齊　75

4.7　數(shù)據(jù)結(jié)構(gòu)之間的運(yùn)算　76

4.7.1　靈活的算術(shù)運(yùn)算方法　76

4.7.2　DataFrame和Series對(duì)象之間的運(yùn)算　77

4.8　函數(shù)應(yīng)用和映射　78

4.8.1　操作元素的函數(shù)　78

4.8.2　按行或列執(zhí)行操作的函數(shù)　78

4.8.3　統(tǒng)計(jì)函數(shù)　79

4.9　排序和排位次　80

4.10　相關(guān)性和協(xié)方差　82

4.11　NaN數(shù)據(jù)　84

4.11.1　為元素賦NaN值　84

4.11.2　過濾NaN　84

4.11.3　為NaN元素填充其他值　85

4.12　等級(jí)索引和分級(jí)　85

4.12.1　重新調(diào)整順序和為層級(jí)排序　87

4.12.2　按層級(jí)統(tǒng)計(jì)數(shù)據(jù)　88

4.13　小結(jié)　88

第5章　pandas：數(shù)據(jù)讀寫　89

5.1　I/O API工具　89

5.2　CSV和文本文件　90

5.3　讀取CSV或文本文件中的數(shù)據(jù)　90

5.3.1　用RegExp解析TXT文件　92

5.3.2　從TXT文件讀取部分?jǐn)?shù)據(jù)　94

5.3.3　將數(shù)據(jù)寫入CSV文件　94

5.4　讀寫HTML文件　96

5.4.1　寫入數(shù)據(jù)到HTML文件　96

5.4.2　從HTML文件讀取數(shù)據(jù)　98

5.5　從XML讀取數(shù)據(jù)　99

5.6　讀寫Microsoft Excel文件　101

5.7　JSON數(shù)據(jù)　102

5.8　HDF5格式　105

5.9　picklePython對(duì)象序列化　106

5.9.1　用cPickle實(shí)現(xiàn)Python對(duì)象序列化　106

5.9.2　用pandas實(shí)現(xiàn)對(duì)象序列化　107

5.10　對(duì)接數(shù)據(jù)庫(kù)　108

5.10.1　SQLite3數(shù)據(jù)讀寫　108

5.10.2　PostgreSQL數(shù)據(jù)讀寫　110

5.11　NoSQL數(shù)據(jù)庫(kù)MongoDB數(shù)據(jù)讀寫　112

5.12　小結(jié)　113

第6章　深入pandas：數(shù)據(jù)處理　114

6.1　數(shù)據(jù)準(zhǔn)備　114

合并　115

6.2　拼接　118

6.2.1　組合　121

6.2.2　軸向旋轉(zhuǎn)　122

6.2.3　刪除　124

6.3　數(shù)據(jù)轉(zhuǎn)換　124

6.3.1　刪除重復(fù)元素　125

6.3.2　映射　125

6.4　離散化和面元?jiǎng)澐帧?29

6.5　排序　133

6.6　字符串處理　134

6.6.1　內(nèi)置的字符串處理方法　134

6.6.2　正則表達(dá)式　135

6.7　數(shù)據(jù)聚合　137

6.7.1　GroupBy　137

6.7.2　實(shí)例　138

6.7.3　等級(jí)分組　139

6.8　組迭代　140

6.8.1　鏈?zhǔn)睫D(zhuǎn)換　140

6.8.2　分組函數(shù)　141

6.9　高級(jí)數(shù)據(jù)聚合　142

6.10　小結(jié)　145

第7章　用matplotlib實(shí)現(xiàn)數(shù)據(jù)可視化　146

7.1　matplotlib庫(kù)　146

7.2　安裝　147

7.3　IPython和Jupyter QtConsole　147

7.4　matplotlib架構(gòu)　148

7.4.1　Backend層　149

7.4.2　Artist層　149

7.4.3　Scripting層（pyplot）　150

7.4.4　pylab和pyplot　150

7.5　pyplot　151

7.6　繪圖窗口　152

7.6.1　設(shè)置圖形的屬性　153

7.6.2　matplotlib和NumPy　155

7.7　使用kwargs　157

7.8　為圖表添加更多元素　159

7.8.1　添加文本　159

7.8.2　添加網(wǎng)格　162

7.8.3　添加圖例　163

7.9　保存圖表　165

7.9.1　保存代碼　165

7.9.2　將會(huì)話轉(zhuǎn)換為HTML文件　167

7.9.3　將圖表直接保存為圖片　168

7.10　處理日期值　168

7.11　圖表類型　170

7.12　線性圖　170

7.13　直方圖　177

7.14　條狀圖　178

7.14.1　水平條狀圖　180

7.14.2　多序列條狀圖　181

7.14.3　為pandas DataFrame生成多序列條狀圖　182

7.14.4　多序列堆積條狀圖　183

7.14.5　為pandas DataFrame繪制堆積條狀圖　186

7.14.6　其他條狀圖　187

7.15　餅圖　187

7.16　高級(jí)圖表　190

7.16.1　等值線圖　190

7.16.2　極區(qū)圖　192

7.17　mplot3d工具集　194

7.17.1　3D曲面　194

7.17.2　3D散點(diǎn)圖　195

7.17.3　3D條狀圖　196

7.18　多面板圖形　197

7.18.1　在其他子圖中顯示子圖　197

7.18.2　子圖網(wǎng)格　199

7.19　小結(jié)　200

第8章　用scikit-learn庫(kù)實(shí)現(xiàn)機(jī)器學(xué)習(xí)　201

8.1　scikit-learn庫(kù)　201

8.2　機(jī)器學(xué)習(xí)　201

8.2.1　有監(jiān)督和無監(jiān)督學(xué)習(xí)　201

8.2.2　訓(xùn)練集和測(cè)試集　202

8.3　用 scikit-learn實(shí)現(xiàn)有監(jiān)督學(xué)習(xí)　202

8.4　Iris數(shù)據(jù)集　202

8.5　K-近鄰分類器　207

8.6　Diabetes數(shù)據(jù)集　210

8.7　線性回歸：最小平方回歸　211

8.8　支持向量機(jī)　214

8.8.1　支持向量分類　215

8.8.2　非線性 SVC　218

8.8.3　繪制SVM分類器對(duì)Iris數(shù)據(jù)集的分類效果圖　220

8.8.4　支持向量回歸　222

8.9　小結(jié)　224

第9章　用TensorFlow庫(kù)實(shí)現(xiàn)深度學(xué)習(xí)　225

9.1　人工智能、機(jī)器學(xué)習(xí)和深度學(xué)習(xí)　225

9.1.1　人工智能　225

9.1.2　機(jī)器學(xué)習(xí)是人工智能的分支　226

9.1.3　深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的分支　226

9.1.4　人工智能、機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的關(guān)系　226

9.2　深度學(xué)習(xí)　227

9.2.1　神經(jīng)網(wǎng)絡(luò)和GPU　227

9.2.2　數(shù)據(jù)可用：開源數(shù)據(jù)資源、物聯(lián)網(wǎng)和大數(shù)據(jù)　228

9.2.3　Python　228

9.2.4　Python深度學(xué)習(xí)框架　228

9.3　人工神經(jīng)網(wǎng)絡(luò)　229

9.3.1　人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)　229

9.3.2　單層感知器　230

9.3.3　多層感知器　232

9.3.4　人工神經(jīng)網(wǎng)絡(luò)和生物神經(jīng)網(wǎng)絡(luò)的一致性　232

9.4　TensorFlow　233

9.4.1　TensorFlow：Google開發(fā)的框架　233

9.4.2　TensorFlow：數(shù)據(jù)流圖　233

9.5　開始TensorFlow 編程　234

9.5.1　安裝TensorFlow　234

9.5.2　Jupyter QtConsole編程　234

9.5.3　TensorFlow的模型和會(huì)話　234

9.5.4　張量　236

9.5.5　張量運(yùn)算　238

9.6　用 TensorFlow實(shí)現(xiàn)SLP　239

9.6.1　開始之前　239

9.6.2　待分析的數(shù)據(jù)　239

9.6.3　SLP模型定義　241

9.6.4　學(xué)習(xí)階段　243

9.6.5　測(cè)試階段和正確率估計(jì)　246

9.7　用TensorFlow實(shí)現(xiàn)MLP（含一個(gè)隱含層）　248

9.7.1　MLP模型的定義　249

9.7.2　學(xué)習(xí)階段　250

9.7.3　測(cè)試階段和正確率計(jì)算　253

9.8　用TensorFlow實(shí)現(xiàn)多層感知器（含兩個(gè)隱含層）　255

9.8.1　測(cè)試階段和正確率計(jì)算　259

9.8.2　實(shí)驗(yàn)數(shù)據(jù)評(píng)估　260

9.9　小結(jié)　262

第　10章 數(shù)據(jù)分析實(shí)例氣象數(shù)據(jù)　263

10.1　待檢驗(yàn)的假設(shè)：靠海對(duì)氣候的影響　263

10.2　數(shù)據(jù)源　265

10.3　用Jupyter Notebook分析數(shù)據(jù)　266

10.4　分析預(yù)處理過的氣象數(shù)據(jù)　269

10.5　風(fēng)向頻率玫瑰圖　279

10.5　小結(jié)　283

第　11章 Jupyter Notebook 內(nèi)嵌

JavaScript庫(kù)D3　284

11.1　開放的人口數(shù)據(jù)源　284

11.2　JavaScript庫(kù)D3　286

11.3　繪制簇狀條狀圖　290

11.4　地區(qū)分布圖　293

11.5　2014年美國(guó)人口地區(qū)分布圖　296

11.6　小結(jié)　300

第　12章 識(shí)別手寫體數(shù)字　301

12.1　手寫體識(shí)別　301

12.2　用scikit-learn識(shí)別手寫體數(shù)字　301

12.3　Digits數(shù)據(jù)集　302

12.4　使用估計(jì)器學(xué)習(xí)并預(yù)測(cè)　304

12.5　用TensorFlow識(shí)別手寫體數(shù)字　306

12.6　使用神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)并預(yù)測(cè)　307

12.7　小結(jié)　310

第　13章 用NLTK分析文本數(shù)據(jù)　311

13.1　文本分析技術(shù)　311

13.1.1　自然語言處理工具集　311

13.1.2　導(dǎo)入NLTK庫(kù)和NLTK下載器　312

13.1.3　在NLTK語料庫(kù)檢索單詞　314

13.1.4　分析詞頻　315

13.1.5　從文本選擇單詞　317

13.1.6　二元組和搭配　318

13.2　網(wǎng)絡(luò)文本數(shù)據(jù)的應(yīng)用　319

13.2.1　從HTML文檔抽取文本　320

13.2.2　情感分析　320

13.3　小結(jié)　322

第　14章 用OpenCV庫(kù)實(shí)現(xiàn)圖像分析和視覺計(jì)算　323

14.1　圖像分析和計(jì)算視覺　323

14.2　OpenCV和Python　324

14.3　OpenCV和深度學(xué)習(xí)　324

14.4　安裝OpenCV　324

14.5　圖像處理和分析的第 1類方法　324

14.5.1　開始之前　324

14.5.2　加載和顯示圖像　325

14.5.3　圖像處理　326

14.5.4　保存新圖　327

14.5.5　圖像的基本操作　327

14.5.6　圖像混合　330

14.6　圖像分析　331

14.7　邊緣檢測(cè)和圖像梯度分析　332

14.7.1　邊緣檢測(cè)　332

14.7.2　圖像梯度理論　332

14.7.3　用梯度分析檢測(cè)圖像邊緣示例　333

14.8　深度學(xué)習(xí)示例：面部識(shí)別　337

14.9　小結(jié)　339

附錄A　用LaTeX編寫數(shù)學(xué)表達(dá)式　340

附錄B　開放數(shù)據(jù)源　350