Python網(wǎng)絡(luò)爬蟲(chóng)從入門(mén)到進(jìn)階實(shí)戰(zhàn)
定 價(jià)：99 元
- 作者：明日科技 編著
- 出版時(shí)間：2024/3/1
- ISBN：9787122448347
- 出 版 社：化學(xué)工業(yè)出版社
- 中圖法分類(lèi)：TP311.561
- 頁(yè)碼：285
- 紙張：
- 版次：01
- 開(kāi)本：小16開(kāi)
《Python 網(wǎng)絡(luò)爬蟲(chóng)從入門(mén)到進(jìn)階實(shí)戰(zhàn)》從零基礎(chǔ)入門(mén)學(xué)習(xí)者的角度出發(fā)，通過(guò)通俗易懂的語(yǔ)言、豐富多彩的實(shí)例，循序漸進(jìn)地讓讀者在實(shí)踐中學(xué)習(xí)Python網(wǎng)絡(luò)爬蟲(chóng)知識(shí)，并提升自己的實(shí)際開(kāi)發(fā)能力。
本書(shū)主要介紹了爬蟲(chóng)基礎(chǔ)知識(shí)、常用網(wǎng)絡(luò)請(qǐng)求模塊的使用（urllib3 模塊、Requests 模塊、高級(jí)網(wǎng)絡(luò)請(qǐng)求模塊）、數(shù)據(jù)解析與存儲(chǔ)（re 模塊的正則表達(dá)式、XPath 的使用、Beautiful Soup 模塊）、爬取動(dòng)態(tài)渲染的數(shù)據(jù)、多線程爬蟲(chóng)、多進(jìn)程爬蟲(chóng)、抓取App 數(shù)據(jù)、識(shí)別驗(yàn)證碼、Scrapy 爬蟲(chóng)框架與Scrapy-Redis 分布式爬蟲(chóng)等內(nèi)容。
本書(shū)知識(shí)講解詳細(xì)，側(cè)重講解知識(shí)使用場(chǎng)景，涉及的代碼給出了詳細(xì)的注釋?zhuān)梢允棺x者輕松領(lǐng)會(huì)Python 網(wǎng)絡(luò)爬蟲(chóng)程序開(kāi)發(fā)的精髓，快速提高開(kāi)發(fā)技能。
本書(shū)適合作為Python 網(wǎng)絡(luò)爬蟲(chóng)程序開(kāi)發(fā)入門(mén)者的自學(xué)用書(shū)，也適合作為高等院校相關(guān)專(zhuān)業(yè)的教學(xué)參考書(shū)，亦可供開(kāi)發(fā)人員查閱、參考。
第1篇 爬蟲(chóng)基礎(chǔ)篇
第1章 認(rèn)識(shí)爬蟲(chóng) 002
1.1 網(wǎng)絡(luò)爬蟲(chóng)概述 002
1.2 網(wǎng)絡(luò)爬蟲(chóng)的分類(lèi) 002
1.3 網(wǎng)絡(luò)爬蟲(chóng)的基本原理 003
1.4 爬蟲(chóng)環(huán)境搭建 004
本章知識(shí)思維導(dǎo)圖 004
第2章 爬蟲(chóng)基礎(chǔ)知識(shí) 005
2.1 HTTP 基本原理 005
2.1.1 HTTP 協(xié)議 005
2.1.2 HTTP 與Web 服務(wù)器 005
2.1.3 瀏覽器中的請(qǐng)求和響應(yīng) 006
2.2 HTML 語(yǔ)言 008
2.2.1 什么是HTML 008
2.2.2 了解HTML 結(jié)構(gòu) 008
2.2.3 HTML 的基本標(biāo)簽 009
2.3 CSS 層疊樣式表 011
2.3.1 CSS 概述 011
2.3.2 屬性選擇器 012
2.3.3 類(lèi)和id 選擇器 013
2.4 JavaScript 動(dòng)態(tài)腳本語(yǔ)言 013
本章知識(shí)思維導(dǎo)圖 016
第2篇 網(wǎng)絡(luò)模塊篇
第3章 urllib3 模塊 018
3.1 urllib3 簡(jiǎn)介 018
3.2 發(fā)送網(wǎng)絡(luò)請(qǐng)求 019
3.2.1 GET 請(qǐng)求 019
3.2.2 POST 請(qǐng)求 020
3.2.3 重試請(qǐng)求 021
3.2.4 處理響應(yīng)內(nèi)容 022
3.3 復(fù)雜請(qǐng)求的發(fā)送 024
3.3.1 設(shè)置請(qǐng)求頭 024
3.3.2 設(shè)置超時(shí) 025
3.3.3 設(shè)置代理IP 026
3.4 上傳文件 027
本章知識(shí)思維導(dǎo)圖 029
第4章 Requests 模塊 030
4.1 請(qǐng)求方式 030
4.1.1 GET（不帶參）請(qǐng)求 031
4.1.2 對(duì)響應(yīng)結(jié)果進(jìn)行utf-8 編碼 031
4.1.3 爬取二進(jìn)制數(shù)據(jù) 032
4.1.4 GET（帶參）請(qǐng)求 033
4.1.5 POST 請(qǐng)求 034
4.2 復(fù)雜的網(wǎng)絡(luò)請(qǐng)求 035
4.2.1 添加請(qǐng)求頭headers 036
4.2.2 驗(yàn)證Cookies 036
4.2.3 會(huì)話請(qǐng)求 038
4.2.4 驗(yàn)證請(qǐng)求 039
4.2.5 網(wǎng)絡(luò)超時(shí)與異常 040
4.2.6 上傳文件 041
4.3 代理服務(wù) 043
4.3.1 代理的應(yīng)用 043
4.3.2 獲取免費(fèi)的代理IP 044
4.3.3 檢測(cè)代理IP 是否有效 045
本章知識(shí)思維導(dǎo)圖 047
第5章 高級(jí)網(wǎng)絡(luò)請(qǐng)求模塊 048
5.1 Requests-Cache 的安裝與測(cè)試 048
5.2 緩存的應(yīng)用 049
5.3 強(qiáng)大的Requests-HTML 模塊 052
5.3.1 使用Requests-HTML 實(shí)現(xiàn)網(wǎng)絡(luò)請(qǐng)求 052
5.3.2 數(shù)據(jù)的提取 054
5.3.3 獲取動(dòng)態(tài)加載的數(shù)據(jù) 058
本章知識(shí)思維導(dǎo)圖 062
第3篇 數(shù)據(jù)解析與存儲(chǔ)篇
第6章 re 模塊的正則表達(dá)式 064
6.1 使用search() 方法匹配字符串 064
6.1.1 獲取第一個(gè)指定字符開(kāi)頭的字符串 064
6.1.2 可選匹配 065
6.1.3 匹配字符串邊界 066
6.2 使用findall() 方法匹配字符串 067
6.2.1 匹配所有指定字符開(kāi)頭的字符串 067
6.2.2 貪婪匹配 068
6.2.3 非貪婪匹配 068
6.3 字符串處理 070
6.3.1 替換字符串 070
6.3.2 分割字符串 071
6.4 案例：爬取編程e 學(xué)網(wǎng)視頻 072
6.4.1 查找視頻頁(yè)面 072
6.4.2 分析視頻地址 074
6.4.3 實(shí)現(xiàn)視頻下載 075
本章知識(shí)思維導(dǎo)圖 077
第7章 XPath 的使用 078
7.1 XPath 概述 078
7.2 XPath 的解析操作 079
7.2.1 解析HTML 079
7.2.2 獲取所有節(jié)點(diǎn) 081
7.2.3 獲取子節(jié)點(diǎn) 083
7.2.4 獲取父節(jié)點(diǎn) 085
7.2.5 獲取文本 086
7.2.6 屬性匹配 087
7.2.7 獲取屬性 089
7.2.8 按序獲取屬性值 090
7.2.9 使用節(jié)點(diǎn)軸獲取節(jié)點(diǎn)內(nèi)容 091
7.3 案例：爬取豆瓣電影Top250 093
7.3.1 分析請(qǐng)求地址 093
7.3.2 分析信息位置 094
7.3.3 爬蟲(chóng)代碼的實(shí)現(xiàn) 095
本章知識(shí)思維導(dǎo)圖 097
第8章 Beautiful Soup 模塊 098
8.1 使用Beautiful Soup 解析數(shù)據(jù) 098
8.1.1 Beautiful Soup 的安裝 098
8.1.2 解析器 099
8.1.3 Beautiful Soup 的簡(jiǎn)單應(yīng)用 100
8.2 獲取節(jié)點(diǎn)內(nèi)容 101
8.2.1 獲取節(jié)點(diǎn)對(duì)應(yīng)的代碼 101
8.2.2 獲取節(jié)點(diǎn)屬性 103
8.2.3 獲取節(jié)點(diǎn)包含的文本內(nèi)容 104
8.2.4 嵌套獲取節(jié)點(diǎn)內(nèi)容 105
8.2.5 關(guān)聯(lián)獲取 106
8.3 調(diào)用方法獲取內(nèi)容 111
8.3.1 find_all()——獲取所有符合條件的內(nèi)容 111
8.3.2 find()——獲取第一個(gè)匹配的節(jié)點(diǎn)內(nèi)容 115
8.3.3 其他方法 116
8.4 CSS 選擇器 117
本章知識(shí)思維導(dǎo)圖 120
第9章 數(shù)據(jù)處理與文件存取 121
9.1 了解pandas 數(shù)據(jù)結(jié)構(gòu) 121
9.1.1 Series 對(duì)象 121
9.1.2 DataFrame 對(duì)象 124
9.2 數(shù)據(jù)處理 126
9.2.1 增添數(shù)據(jù) 126
9.2.2 刪除數(shù)據(jù) 126
9.2.3 修改數(shù)據(jù) 127
9.2.4 查詢數(shù)據(jù) 128
9.3 NaN 數(shù)據(jù)處理 130
9.4 去除重復(fù)數(shù)據(jù) 133
9.5 文件的存取 135
9.5.1 基本文件操作TXT 135
9.5.2 存取CSV 文件 140
9.5.3 存取Excel 文件 143
9.6 MySQL 數(shù)據(jù)庫(kù)的使用 144
9.6.1 連接數(shù)據(jù)庫(kù) 144
9.6.2 創(chuàng)建數(shù)據(jù)表 145
9.6.3 操作MySQL 數(shù)據(jù)表 146
本章知識(shí)思維導(dǎo)圖 148
第4篇 技能進(jìn)階篇
第10章 爬取動(dòng)態(tài)渲染的數(shù)據(jù) 150
10.1 Ajax 數(shù)據(jù)的爬取 150
10.2 使用selenium 爬取動(dòng)態(tài)加載的信息 154
10.2.1 安裝selenium 模塊 154
10.2.2 下載瀏覽器驅(qū)動(dòng) 154
10.2.3 selenium 模塊的使用 155
10.3 Splash 的爬蟲(chóng)應(yīng)用 157
10.3.1 Splash 中的HTTP API 158
10.3.2 執(zhí)行l(wèi)ua 自定義腳本 161
本章知識(shí)思維導(dǎo)圖 163
第11章 多線程爬蟲(chóng) 164
11.1 進(jìn)程與線程 164
11.1.1 什么是進(jìn)程 164
11.1.2 什么是線程 165
11.2 創(chuàng)建線程 165
11.2.1 使用threading 模塊創(chuàng)建線程 165
11.2.2 使用Thread 子類(lèi)創(chuàng)建線程 166
11.3 線程間通信 167
11.3.1 什么是互斥鎖 168
11.3.2 使用互斥鎖 169
11.3.3 使用隊(duì)列在線程間通信 170
11.4 多線程爬蟲(chóng) 172
本章知識(shí)思維導(dǎo)圖 178
第12章 多進(jìn)程爬蟲(chóng) 179
12.1 創(chuàng)建進(jìn)程 179
12.1.1 使用multiprocessing 模塊創(chuàng)建進(jìn)程 179
12.1.2 使用Process 子類(lèi)創(chuàng)建進(jìn)程 183
12.1.3 使用進(jìn)程池Pool 創(chuàng)建進(jìn)程 184
12.2 進(jìn)程間通信 187
12.2.1 隊(duì)列簡(jiǎn)介 188
12.2.2 多進(jìn)程隊(duì)列的使用 189
12.2.3 使用隊(duì)列在進(jìn)程間通信 191
12.3 多進(jìn)程爬蟲(chóng) 192
本章知識(shí)思維導(dǎo)圖 197
第13章 爬取App 數(shù)據(jù) 198
13.1 Charles 工具的下載與安裝 198
13.2 SSL 證書(shū)的安裝 202
13.2.1 安裝PC 端證書(shū) 202
13.2.2 設(shè)置代理 206
13.2.3 配置網(wǎng)絡(luò) 207
13.2.4 安裝手機(jī)端證書(shū) 210
13.3 案例：爬取App 數(shù)據(jù) 213
本章知識(shí)思維導(dǎo)圖 215
第14章 識(shí)別驗(yàn)證碼 216
14.1 字符驗(yàn)證碼 216
14.1.1 搭建OCR 環(huán)境 216
14.1.2 下載驗(yàn)證碼圖片 218
14.1.3 識(shí)別驗(yàn)證碼 219
14.2 第三方驗(yàn)證碼識(shí)別 221
14.3 滑動(dòng)拼圖驗(yàn)證碼 225
本章知識(shí)思維導(dǎo)圖 228
第5篇 框架篇
第15章 Scrapy 爬蟲(chóng)框架 230
15.1 了解Scrapy 爬蟲(chóng)框架 230
15.2 搭建Scrapy 爬蟲(chóng)框架 231
15.2.1 使用Anaconda 安裝Scrapy 231
15.2.2 Windows 系統(tǒng)下配置Scrapy 233
15.3 Scrapy 的基本應(yīng)用 235
15.3.1 創(chuàng)建Scrapy 項(xiàng)目 235
15.3.2 創(chuàng)建爬蟲(chóng) 236
15.3.3 獲取數(shù)據(jù) 240
15.3.4 將爬取的數(shù)據(jù)保存為多種格式的文件 243
15.4 編寫(xiě)Item Pipeline 244
15.4.1 項(xiàng)目管道的核心方法 244
15.4.2 將信息存儲(chǔ)到數(shù)據(jù)庫(kù)中 245
15.5 自定義中間件 248
15.5.1 設(shè)置隨機(jī)請(qǐng)求頭 249
15.5.2 設(shè)置Cookies 252
15.5.3 設(shè)置代理ip 255
15.6 文件下載 257
本章知識(shí)思維導(dǎo)圖 260
第16章 Scrapy-Redis 分布式爬蟲(chóng) 261
16.1 安裝Redis 數(shù)據(jù)庫(kù) 261
16.2 Scrapy-Redis 模塊 264
16.3 分布式爬取新聞數(shù)據(jù) 265
16.4 自定義分布式爬蟲(chóng) 277
本章知識(shí)思維導(dǎo)圖 285
書(shū)單推薦
