第1部分 基礎(chǔ)概念
第l章 爬蟲基礎(chǔ)和開發(fā)環(huán)境的配置
1.1 爬蟲產(chǎn)生的背景和概念
1.1.1 爬蟲產(chǎn)生的背景
1.1.2 爬蟲的概念
1.2 爬蟲的用途和分類
1.2.1 爬蟲的用途
1.2.2 爬蟲的分類
1.3 爬蟲實現(xiàn)原理
1.3.1 通用爬蟲工作原理
1.3.2 聚焦爬蟲工作原理
1.4 爬蟲爬取網(wǎng)頁信息的主要流程
1.5 防爬蟲應(yīng)對策略
1.6 爬蟲數(shù)據(jù)采集與挖掘的合規(guī)性
1.7 開發(fā)環(huán)境的配置
1.7.1 在Windows上安裝Python
1.7.2 PyCharm的安裝與使用
習(xí)題
第2章 網(wǎng)頁前端基礎(chǔ)
2.1 URL(統(tǒng)一資源定位符)
2.1.1 協(xié)議頭
2.1.2 服務(wù)器地址和端口
2.1.3 文件路徑
2.2 超文本
2.3 HTTP與HTTPS
2.3.1 HTTP
2 3 2 HTTPS
2.4 HTTP網(wǎng)絡(luò)請求原理
2.4.1 瀏覽器顯示網(wǎng)頁過程
2.4.2 客戶端HTTP請求格式
2.4.3 服務(wù)器HTTP相應(yīng)格式
2.5 Robots協(xié)議
2.5.1 Robots協(xié)議的內(nèi)涵
2.5.2 經(jīng)典robots.txt例子
2.6 網(wǎng)頁基礎(chǔ)
2.6.1 HTML語言規(guī)范
2.6.2 CSS簡述
2.6.3 節(jié)點樹及節(jié)點間的關(guān)系
2.7 Cookie與Session
2.7.1 Cookie
2.7.2 Sessiml
習(xí) 題
案例1 爬蟲合法嗎
第2部分 網(wǎng)絡(luò)庫
第3章 網(wǎng)絡(luò)庫urllib
3.1 發(fā)送請求與獲得響應(yīng)
3.1.1 用urlopen函數(shù)發(fā)送HTTP GET請求
3.1.2 用urIopen函數(shù)發(fā)送HTTP POST請求
3.1.3 請求超時
3.1.4 設(shè)置HTTP請求頭
3.1.5 使用代理
3.1.6 讀取和設(shè)置Cookie
3.2 異常處理
3.3 解析鏈接
3.3.1 urlparse與urlunparse
3.3.2 urlsplit和urlunsplit
3.3.3 urljoin
3.3.4 urlencode
3.3.5 quote與unquote
3.3.6 parse_qs與parse_qsl
3.4 解析robots.txt文件
3.5 階段案例
習(xí)題
第4章 網(wǎng)絡(luò)庫requests
4.1 基本用法
4.1.1 requests的GET.請求
4.1.2 添加HTTP請求頭
4.1.3 抓取二進制數(shù)據(jù)
4.1.4 POST請求
4.1.5 響應(yīng)數(shù)據(jù)
4.2 高級應(yīng)用
4.2.1 處理Cookie
4.2.2 使用同一會話(Session)
4.2.3 使用代理
4.2.4 超時
4.2.5 請求打包
4.3 階段案例
習(xí)題
案例2 大眾點評訴百度案
第3部分 解析庫
第5章 正則表達式
5.1 了解正則表達式
5.1.1 原子
5.1.2 元字符
5.2 re庫概述
5.2.1 match()方法和group()方法
5.2.2 search()方法
5.2.3 findall()方法和finditer()方法
5.2.4 sub()方法和subn()方法
5.2.5 split()方法
5.3 使用正則表達式抓取數(shù)據(jù)
5.3.1 抓取標(biāo)簽間的內(nèi)容
5.3.2 抓取標(biāo)簽中的參數(shù)
5.3.3 字符串處理及替換
5.4 階段案例
習(xí)題
第6章 XPath和lxml解析庫
6.1 lxml基礎(chǔ)
6.1.1 安裝Ixml
6.1.2 操作XML
6.1.3 操作HTML
6.1.4 操作字符串
6.2 XPath語法
6.3 lxml庫的基本使用
6.3.1 選取所有節(jié)點
6.3.2 選取子節(jié)點
6.3.3 屬性匹配與獲取
6.3.4 選取父節(jié)點
6.3.5 多屬性匹配
6.3.6 按序選擇節(jié)點
6.3.7 在Chrome中自動獲得XPath代碼
6.4 階段案例
習(xí)題
第7章 解析庫BeautifulSoup4
7.1 BeautifulSoup4概述
7.1.1 BeautifulSoup4的安裝
7.1.2 選擇解析器
7.2 BeautifulSoup對象
7.2.1 使用BeautifuiSoup解析HTML代碼
7.2.2 節(jié)點選擇器
7.3 方法和CSS選擇器
7.3.1 方法選擇器
7.3.2 CSS選擇器
7.4 階段案例
習(xí)題
第8章 多線程爬蟲
8.1 進程和線程
8.1.1 進程
8.1.2 線程
8.2 Python與線程
8.2.1 使用單線程執(zhí)行程序
8.2.2 使用多線程執(zhí)行程序
8.2.3 為線程函數(shù)傳遞參數(shù)
8.2.4 線程和鎖
8.3 高級線程模塊(threading)
8.3.1 Thread類與線程函數(shù)
8：3.2 Thread類與線程對象
8.3.3 從Thread類繼承
8.3.4 線程同步
8.3.5 生產(chǎn)者一消費者問題與queue模塊
8.4 多進程
8.4.1 創(chuàng)建子進程
8.4.2 將進程定義為類
8.4.3 創(chuàng)建多個進程
8.5 階段案例
習(xí)題
案例3 頭條前高管反噬被判刑
第4部分 數(shù)據(jù)存儲
第9章 文件存儲
9.1 操作文件
9.1.1 讀文件和寫文件
9.1.2 讀行和寫行
9.1.3 使用Filelnput對象讀取文件
9.2 讀寫XML文件
9.2.1 讀取與搜索XML文件
9.2.2 字典轉(zhuǎn)換為XML字符串
9.2.3 XML字符串轉(zhuǎn)換為字典
9.3 讀寫JSON文件
9.3.1 JSON字符串與字典互相轉(zhuǎn)換
9.3.2 將JSON字符串轉(zhuǎn)換為XML字符串
9.3.3 將JSON數(shù)據(jù)轉(zhuǎn)存到文件中
9.3.4 從文件中讀取JSON
9.4 讀寫CSV文件
9.4.1 寫入CSV文件
9.4.