第 1章 數(shù)據(jù)科學(xué)概述 1
【知識(shí)目標(biāo)】 1
【本章導(dǎo)讀】 1
1.1 數(shù)據(jù) 1
1.1.1 數(shù)據(jù)的定義和分類 1
1.1.2 數(shù)據(jù)產(chǎn)生方式的變革 2
1.2 數(shù)據(jù)科學(xué) 3
1.2.1 數(shù)據(jù)科學(xué)的發(fā)展歷程 4
1.2.2 數(shù)據(jù)科學(xué)基礎(chǔ) 5
1.2.3 數(shù)據(jù)科學(xué)的知識(shí)結(jié)構(gòu) 8
1.2.4 數(shù)據(jù)科學(xué)的工作流程 8
1.2.5 數(shù)據(jù)科學(xué)的成果 11
1.2.6 數(shù)據(jù)科學(xué)與大數(shù)據(jù) 11
1.3 數(shù)據(jù)科學(xué)管理與應(yīng)用 12
1.3.1 運(yùn)籌優(yōu)化 12
1.3.2 管理決策 12
1.3.3 質(zhì)量控制 13
1.3.4 商務(wù)智能 13
1.3.5 網(wǎng)絡(luò)管理 14
歸納與提高 14
知識(shí)鞏固與訓(xùn)練 15


第 2章 數(shù)據(jù)科學(xué)關(guān)鍵技術(shù)分析 17
【知識(shí)目標(biāo)】 17
【本章導(dǎo)讀】 17
2.1 數(shù)據(jù)采集技術(shù) 17
2.1.1 數(shù)據(jù)采集 17
2.1.2 數(shù)據(jù)采集相關(guān)技術(shù) 19
2.2 數(shù)據(jù)預(yù)處理技術(shù) 20
2.2.1 數(shù)據(jù)清洗 20
2.2.2 數(shù)據(jù)集成 22
2.3 數(shù)據(jù)分析技術(shù) 23
2.3.1 數(shù)據(jù)分析概述 23
2.3.2 數(shù)據(jù)分析的相關(guān)技術(shù) 24
2.4 數(shù)據(jù)可視化技術(shù) 25
2.4.1 數(shù)據(jù)可視化概述 26
2.4.2 數(shù)據(jù)可視化的相關(guān)技術(shù) 26
歸納與提高 27
知識(shí)鞏固與訓(xùn)練 27


第3章 Python基礎(chǔ) 29
【知識(shí)目標(biāo)】 29
【本章導(dǎo)讀】 29
3.1 Python簡介 29
3.1.1 Python語言概述 29
3.1.2 Python語言的優(yōu)點(diǎn)和缺點(diǎn) 30
3.2 Python程序的開發(fā)與基本語法 31
3.2.1 程序開發(fā)的流程 31
3.2.2 程序編寫的基本方法 32
3.2.3 Python的輸入與輸出 32
3.2.4 Python的基本語法 34
3.2.5 變量與常量 35
3.2.6 標(biāo)識(shí)符 37
3.3 Python的基本數(shù)據(jù)類型 38
3.3.1 數(shù)字類型 38
3.3.2 字符串類型 39
3.3.3 布爾類型 41
3.4 運(yùn)算符與表達(dá)式 42
3.4.1 運(yùn)算符 42
3.4.2 表達(dá)式 44
3.4.3 數(shù)據(jù)類型轉(zhuǎn)換 45
3.5 程序的控制結(jié)構(gòu) 46
3.5.1 程序流程圖 46
3.5.2 程序的基本結(jié)構(gòu) 47
3.5.3 分支結(jié)構(gòu) 49
3.5.4 循環(huán)結(jié)構(gòu) 51
歸納與提高 54
知識(shí)鞏固與訓(xùn)練 54


第4章 函數(shù)、模塊與組合數(shù)據(jù)類型 57
【知識(shí)目標(biāo)】 57
【本章導(dǎo)讀】 57
4.1 函數(shù)的定義和調(diào)用 57
4.1.1 函數(shù)的定義 57
4.1.2 函數(shù)的調(diào)用 58
4.1.3 函數(shù)的遞歸調(diào)用 59
4.1.4 lambda表達(dá)式 60
4.2 函數(shù)的參數(shù)傳遞 61
4.2.1 函數(shù)值傳遞和引用傳遞 61
4.2.2 參數(shù)的位置傳遞 62
4.2.3 參數(shù)的關(guān)鍵字傳遞 64
4.2.4 參數(shù)的默認(rèn)值傳遞 64
4.3 內(nèi)置函數(shù) 65
4.4 變量作用域 67
4.4.1 Python的局部變量 67
4.4.2 Python的全局變量 68
4.5 模塊 69
4.5.1 模塊的定義 69
4.5.2 導(dǎo)入模塊 69
4.5.3 自定義模塊 70
4.5.4 math模塊 71
4.6 組合數(shù)據(jù)類型與字符串 72
4.6.1 列表 73
4.6.2 元組 76
4.6.3 字典 78
4.6.4 集合 82
4.6.5 字符串 84
歸納與提高 88
知識(shí)鞏固與訓(xùn)練 88


第5章 文件操作 92
【知識(shí)目標(biāo)】 92
【本章導(dǎo)讀】 92
5.1 錯(cuò)誤處理 92
5.1.1 錯(cuò)誤 92
5.1.2 異常處理 94
5.2 文件讀寫 96
5.2.1 讀寫文本文件 96
5.2.2 讀寫csv文件 98
5.2.3 讀寫JSON文件 100
歸納與提高 101
知識(shí)鞏固與訓(xùn)練 102


第6章 數(shù)據(jù)采集 104
【知識(shí)目標(biāo)】 104
【本章導(dǎo)讀】 104
6.1 HTTP請求概述 104
6.1.1 HTTP和HTTPS 104
6.1.2 HTTP的工作原理 105
6.1.3 HTTP的請求與響應(yīng) 105
6.2 HTML、DOM樹結(jié)構(gòu)和XPath 109
6.2.1 HTML簡述 109
6.2.2 DOM樹結(jié)構(gòu) 110
6.2.3 用XPath選擇HTML元素 110
6.3 Scrapy數(shù)據(jù)采集入門 113
6.3.1 安裝Scrapy 113
6.3.2 Scrapy框架結(jié)構(gòu) 114
6.3.3 基礎(chǔ)Spider源碼解析 115
6.4 Scrapy實(shí)例 117
6.4.1 實(shí)例一 117
6.4.2 實(shí)例二 123
6.5 Scrapy應(yīng)對(duì)反爬蟲程序 127
6.5.1 爬蟲的檢測方法 127
6.5.2 應(yīng)對(duì)反爬蟲的對(duì)策 128
6.5.3 反爬蟲實(shí)例 128
歸納與提高 130
知識(shí)鞏固與訓(xùn)練 131


第7章 numpy數(shù)值計(jì)算 132
【知識(shí)目標(biāo)】 132
【本章導(dǎo)讀】 132
7.1 numpy數(shù)組概述 132
7.1.1 numpy數(shù)組的特點(diǎn)及屬性 132
7.1.2 創(chuàng)建numpy數(shù)組 134
7.1.3 numpy的數(shù)據(jù)類型及其轉(zhuǎn)換 135
7.2 數(shù)組形狀操作 136
7.2.1 利用reshape()函數(shù)改變數(shù)組維度 136
7.2.2 利用ravel()函數(shù)數(shù)組 137
7.2.3 利用flatten()函數(shù)橫向或縱向數(shù)組 137
7.2.4 利用hstack()、vstack()、concatenate()函行數(shù)組組合 137
7.2.5 利用hsplit()、vsplit()和split()函行數(shù)組分割 138
7.3 數(shù)組數(shù)據(jù)獲取：索引、切片、及條件 139
7.3.1 一維數(shù)組的索引及切片 139
7.3.2 多維數(shù)組的索引及切片 140
7.3.3 數(shù)組數(shù)據(jù)的 140
7.3.4 利用條件獲取數(shù)組數(shù)據(jù) 140
7.4 數(shù)組運(yùn)算 141
7.4.1 常用的ufunc函數(shù)運(yùn)算 141
7.4.2 ufunc函數(shù)的廣播機(jī)制 143
7.5 數(shù)組排序及統(tǒng)計(jì)分析 144
7.5.1 排序 144
7.5.2 去重與重復(fù)數(shù)據(jù) 145
7.5.3 常用的統(tǒng)計(jì)函數(shù) 146
7.6 矩陣創(chuàng)建及運(yùn)算 147
7.6.1 創(chuàng)建矩陣 147
7.6.2 矩陣的基本運(yùn)算 148
7.6.3 矩陣的轉(zhuǎn)置、共軛及逆矩陣 149
7.6.4 查看矩陣特征 149
7.7 讀寫文件 150
7.7.1 文本數(shù)據(jù)讀寫函數(shù)savetxt()、loadtxt()、genfromtxt() 150
7.7.2 制文件讀寫函數(shù)save()及l(fā)oad() 151
歸納與提高 152
知識(shí)鞏固與訓(xùn)練 152


第8章 數(shù)據(jù)處理：pandas統(tǒng)計(jì)分析 154
【知識(shí)目標(biāo)】 154
【本章導(dǎo)讀】 154
8.1 pandas的數(shù)據(jù)結(jié)構(gòu) 154
8.1.1 Series（數(shù)據(jù)序列） 155
8.1.2 DataFrame（數(shù)據(jù)框） 157
8.2 DataFrame的基礎(chǔ)操作 158
8.2.1 查看DataFrame的常用屬性 158
8.2.2 查看和修改DataFrame數(shù)據(jù) 159
8.3 讀/寫外部數(shù)據(jù) 164
8.3.1 讀/寫數(shù)據(jù)庫數(shù)據(jù) 164
8.3.2 讀/寫文本文件 166
8.3.3 讀/寫Excel文件 167
8.4 pandas的數(shù)據(jù)預(yù)處理 168
8.4.1 數(shù)據(jù)清洗 168
8.4.2 數(shù)據(jù)集成 173
8.4.3 數(shù)據(jù)排序 177
8.5 統(tǒng)計(jì)分析 178
8.5.1 描述性78
8.5.2 分組聚合80
8.6 時(shí)間類型及時(shí)間序列數(shù)據(jù) 182
8.6.1 轉(zhuǎn)換字符串時(shí)間為標(biāo)準(zhǔn)時(shí)間 182
8.6.2 提取時(shí)間數(shù)據(jù)信息 183
8.6.3 加減時(shí)間數(shù)據(jù) 184
8.6.4 生成時(shí)間序列數(shù)據(jù) 184
8.7 創(chuàng)建透視表與交叉表 185
8.7.1 使用pivot()及pivot_table()函數(shù)創(chuàng)建透視表 185
8.7.2 使用cros()函數(shù)創(chuàng)建交叉表 187
歸納與提高 189
知識(shí)鞏固與訓(xùn)練 189


第9章 數(shù)據(jù)可視化與應(yīng)用 192
【知識(shí)目標(biāo)】 192
【本章導(dǎo)讀】 192
9.1 matplotlib簡介 192
9.2 基本圖形繪制 194
9.2.1 繪制一個(gè)基本圖形 194
9.2.2 繪制線形圖 195
9.2.3 繪制散點(diǎn)圖 197
9.3 統(tǒng)計(jì)圖形繪制 198
9.3.1 繪制柱形圖 198
9.3.2 繪制條形圖 199
9.3.3 繪制餅圖 200
9.3.4 繪制氣泡圖 200
9.4 設(shè)置樣式 201
9.4.1 中文及負(fù)號(hào)設(shè)置 201
9.4.2 標(biāo)題及坐標(biāo)軸標(biāo)簽 201
9.4.3 plot樣式 202
9.4.4 子圖 203
9.5 3D圖形的繪制 204
歸納與提高 206
知識(shí)鞏固與訓(xùn)練 206


第 10章 網(wǎng)店商品數(shù)據(jù)分析 209
【知識(shí)目標(biāo)】 209
【本章導(dǎo)讀】 209
10.1 某網(wǎng)店的背景及數(shù)據(jù)分析的目的 209
10.1.1 某網(wǎng)店的背景介紹 209
10.1.2 數(shù)據(jù)分析目的及流程 210
10.2 數(shù)據(jù)預(yù)處理 210
10.2.1 數(shù)據(jù)特征分析 211
10.2.2 文字預(yù)處理 211
10.2.3 數(shù)字預(yù)處理 213
10.3 數(shù)據(jù)分析初步 214
10.3.1 商品分析 214
10.3.2 商品價(jià)格與銷量分析 215
10.4 聚類分析 217
10.4.1 聚類分析簡介 217
10.4.2 KMeans聚類 217
10.4.3 聚類過程及可視化 218
10.5 撰寫數(shù)據(jù)分析報(bào)告 221
歸納與提高 222
更新勘誤表和配套資料索取示意圖 223
參考文獻(xiàn) 224