第1章  搜索引擎及其技術(shù)架構(gòu)
1.1  搜索引擎為何重要
1.1.1  互聯(lián)網(wǎng)的發(fā)展
1.1.2  商業(yè)搜索引擎公司的發(fā)展
1.1.3  搜索引擎的重要地位
1.2  搜索引擎技術(shù)發(fā)展史
1.2.1  史前時(shí)代：分類目錄的一代
1.2.2  第一代：文本檢索的一代
1.2.3  第二代：鏈接分析的一代
1.2.4  第三代：用戶中心的一代
1.3  搜索引擎的3個(gè)目標(biāo)
1.4  搜索引擎的3個(gè)核心問(wèn)題
1.4.1  3個(gè)核心問(wèn)題
1.4.2  與技術(shù)發(fā)展的關(guān)系
1.5  搜索引擎的技術(shù)架構(gòu)

第2章  網(wǎng)絡(luò)爬蟲(chóng)
2.1  通用爬蟲(chóng)框架
2.2  優(yōu)秀爬蟲(chóng)的特性
2.3  爬蟲(chóng)質(zhì)量的評(píng)價(jià)標(biāo)準(zhǔn)
2.4  抓取策略
2.4.1  寬度優(yōu)先遍歷策略（Breath First）
2.4.2  非完全PageRank策略（Partial PageRank）
2.4.3  OCIP策略（Online Page Importance Computation）
2.4.4  大站優(yōu)先策略（Larger Sites First）
2.5  網(wǎng)頁(yè)更新策略
2.5.1  歷史參考策略
2.5.2  用戶體驗(yàn)策略
2.5.3  聚類抽樣策略
2.6  暗網(wǎng)抓�。―eep Web Crawling）
2.6.1  查詢組合問(wèn)題
2.6.2  文本框填寫(xiě)問(wèn)題
2.7  分布式爬蟲(chóng)
2.7.1  主從式分布爬蟲(chóng)（Master-Slave）
2.7.2  對(duì)等式分布爬蟲(chóng)（Peer to Peer）
本章提要
本章參考文獻(xiàn)

第3章  搜索引擎索引
3.1  索引基礎(chǔ)
3.1.1  單詞-文檔矩陣
3.1.2  倒排索引基本概念
3.1.3  倒排索引簡(jiǎn)單實(shí)例
3.2  單詞詞典
3.2.1  哈希加鏈表
3.2.2  樹(shù)形結(jié)構(gòu)
3.3  倒排列表（Posting List）
3.4  建立索引
3.4.1  兩遍文檔遍歷法（2-Pass In-Memory Inversion）
3.4.2  排序法（Sort-based Inversion）
3.4.3  歸并法（Merge-based Inversion）
3.5  動(dòng)態(tài)索引
3.6  索引更新策略
3.6.1  完全重建策略（Complete Re-Build）
3.6.2  再合并策略（Re-Merge）
3.6.3  原地更新策略（In-Place）
3.6.4  混合策略（Hybrid）
3.7  查詢處理
3.7.1  一次一文檔（Doc at a Time）
3.7.2  一次一單詞（Term at a Time）
3.7.3  跳躍指針（Skip Pointers）
3.8  多字段索引
3.8.1  多索引方式
3.8.2  倒排列表方式
3.8.3  擴(kuò)展列表方式（Extent List）
3.9  短語(yǔ)查詢
3.9.1  位置信息索引（Position Index）
3.9.2  雙詞索引（Nextword Index）
3.9.3  短語(yǔ)索引（Phrase Index）
3.9.4  混合方法
3.10 分布式索引（Parallel Indexing）
3.10.1  按文檔劃分（Document Partitioning）
3.10.2  按單詞劃分（Term Partitioning）
3.10.3  兩種方案的比較
本章提要
本章參考文獻(xiàn)

第4章  索引壓縮
4.1  詞典壓縮
4.2  倒排列表壓縮算法
4.2.1  評(píng)價(jià)索引壓縮算法的指標(biāo)
4.2.2  一元編碼與二進(jìn)制編碼
4.2.3  Elias Gamma算法與Elias Delta算法
4.2.4  Golomb算法與Rice算法
4.2.5  變長(zhǎng)字節(jié)算法（Variable Byte）
4.2.6  SimpleX 系列算法
4.2.7  PForDelta算法
4.3  文檔編號(hào)重排序（DocID Reordering）
4.4  靜態(tài)索引裁剪（Static Index Pruning）
4.4.1  以單詞為中心的索引裁剪
4.4.2  以文檔為中心的索引裁剪
本章提要
本章參考文獻(xiàn)

第5章  檢索模型與搜索排序
5.1  布爾模型（Boolean Model）
5.2  向量空間模型（Vector Space Model）
5.2.1  文檔表示
5.2.2  相似性計(jì)算
5.2.3  特征權(quán)重計(jì)算
5.3  概率檢索模型
5.3.1  概率排序原理
5.3.2  二元獨(dú)立模型（Binary Independent Model）
5.3.3  BM25模型
5.3.4  BM25F模型
5.4  語(yǔ)言模型方法
5.5  機(jī)器學(xué)習(xí)排序（Learning to Rank）
5.5.1  機(jī)器學(xué)習(xí)排序的基本思路
5.5.2  單文檔方法（PointWise Approach）
5.5.3  文檔對(duì)方法（PairWise Approach）
5.5.4  文檔列表方法（ListWise Approach）
5.6  檢索質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)
5.6.1  精確率與召回率
5.6.2  P@10指標(biāo)
5.6.3  MAP指標(biāo)（Mean Average Precision）
本章提要
本章參考文獻(xiàn)

第6章  鏈接分析
6.1  Web圖
6.2  兩個(gè)概念模型及算法之間的關(guān)系
6.2.1  隨機(jī)游走模型（Random Surfer Model）
6.2.2  子集傳播模型
6.2.3  鏈接分析算法之間的關(guān)系
6.3  PageRank算法
6.3.1  從入鏈數(shù)量到PageRank
6.3.2  PageRank計(jì)算
6.3.3  鏈接陷阱（Link Sink）與遠(yuǎn)程跳轉(zhuǎn)（Teleporting）
6.4  HITS算法（Hypertext Induced Topic Selection）
6.4.1  Hub頁(yè)面與Authority頁(yè)面
6.4.2  相互增強(qiáng)關(guān)系
6.4.3  HITS算法
6.4.4  HITS算法存在的問(wèn)題
6.4.5  HITS算法與PageRank算法比較
6.5  SALSA算法
6.5.1  確定計(jì)算對(duì)象集合
6.5.2  鏈接關(guān)系傳播
6.5.3  Authority權(quán)值計(jì)算
6.6  主題敏感PageRank（Topic Sensitive PageRank）
6.6.1  主題敏感PageRank與PageRank的差異
6.6.2  主題敏感PageRank計(jì)算流程
6.6.3  利用主題敏感PageRank構(gòu)造個(gè)性化搜索
6.7  Hilltop算法
6.7.1  Hilltop算法的一些基本定義
6.7.2  Hilltop算法
6.8  其他改進(jìn)算法
6.8.1  智能游走模型（Intelligent Surfer Model）
6.8.2  偏置游走模型（Biased Surfer Model）
6.8.3  PHITS算法（Probability Analogy of HITS）
6.8.4  BFS算法（Backward Forward Step）
本章提要
本章參考文獻(xiàn)

第7章  云存儲(chǔ)與云計(jì)算
7.1  云存儲(chǔ)與云計(jì)算概述
7.1.1  基本假設(shè)
7.1.2  理論基礎(chǔ)
7.1.3  數(shù)據(jù)模型
7.1.4  基本問(wèn)題
7.1.5  Google的云存儲(chǔ)與云計(jì)算架構(gòu)
7.2  Google文件系統(tǒng)（GFS）
7.2.1  GFS設(shè)計(jì)原則
7.2.2  GFS整體架構(gòu)
7.2.3  GFS主控服務(wù)器
7.2.4  系統(tǒng)交互行為
7.3  Chubby鎖服務(wù)
7.4  BigTable
7.4.1  BigTable的數(shù)據(jù)模型
7.4.2  BigTable整體結(jié)構(gòu)
7.4.3  BigTable的管理數(shù)據(jù)
7.4.4  主控服務(wù)器（Master Server）
7.4.5  子表服務(wù)器（Tablet Server）
7.5  Megastore系統(tǒng)
7.5.1  實(shí)體群組切分
7.5.2  數(shù)據(jù)模型
7.5.3  數(shù)據(jù)讀寫(xiě)與備份
7.6  Map/Reduce云計(jì)算模型
7.6.1  計(jì)算模型
7.6.2  整體邏輯流程
7.6.3  應(yīng)用示例
7.7  咖啡因系統(tǒng)--Percolator
7.7.1  事務(wù)支持
7.7.2  觀察/通知體系結(jié)構(gòu)
7.8  Pregel圖計(jì)算模型
7.9  Dynomo云存儲(chǔ)系統(tǒng)
7.9.1  數(shù)據(jù)劃分算法（Partitioning Algorithm）
7.9.2  數(shù)據(jù)備份（Replication）
7.9.3  數(shù)據(jù)讀寫(xiě)
7.9.4  數(shù)據(jù)版本控制
7.10  PNUTS云存儲(chǔ)系統(tǒng)
7.10.1  PNUTS整體架構(gòu)
7.10.2  存儲(chǔ)單元
7.10.3  子表控制器與數(shù)據(jù)路由器
7.10.4  雅虎消息代理
7.10.5  數(shù)據(jù)一致性
7.11  HayStack存儲(chǔ)系統(tǒng)
7.11.1  HayStack整體架構(gòu)
7.11.2  目錄服務(wù)
7.11.3  HayStack緩存
7.11.4  HayStack存儲(chǔ)系統(tǒng)
本章提要
本章參考文獻(xiàn)

第8章  網(wǎng)頁(yè)反作弊
8.1  內(nèi)容作弊
8.1.1  常見(jiàn)內(nèi)容作弊手段
8.1.2  內(nèi)容農(nóng)場(chǎng)（Content Farm）
8.2  鏈接作弊
8.3  頁(yè)面隱藏作弊
8.4  Web 2.0作弊方法
8.5  反作弊技術(shù)的整體思路
8.5.1  信任傳播模型
8.5.2  不信任傳播模型
8.5.3  異常發(fā)現(xiàn)模型
8.6  通用鏈接反作弊方法
8.6.1  TrustRank算法
8.6.2  BadRank算法
8.6.3  SpamRank
8.7  專用鏈接反作弊技術(shù)
8.7.1  識(shí)別鏈接農(nóng)場(chǎng)
8.7.2  識(shí)別Google轟炸
8.8  識(shí)別內(nèi)容作弊
8.9  反隱藏作弊
8.9.1  識(shí)別頁(yè)面隱藏
8.9.2  識(shí)別網(wǎng)頁(yè)重定向
8.10 搜索引擎反作弊綜合框架
本章提要
本章參考文獻(xiàn)

第9章  用戶查詢意圖分析
9.1  搜索行為及其意圖
9.1.1  用戶搜索行為
9.1.2  用戶搜索意圖分類
9.2  搜索日志挖掘
9.2.1  查詢會(huì)話（Query Session）
9.2.2  點(diǎn)擊圖（Click Graph）
9.2.3  查詢圖（Query Graph）
9.3  相關(guān)搜索
9.3.1  基于查詢會(huì)話的方法
9.3.2  基于點(diǎn)擊圖的方法
9.4  查詢糾錯(cuò)
9.4.1  編輯距離（Edit Distance）
9.4.2  噪聲信道模型（Noise Channel Model）
本章提要
本章參考文獻(xiàn)

第10章  網(wǎng)頁(yè)去重
10.1  通用去重算法框架
10.2  Shingling算法
10.3  I-Match算法
10.4  SimHash算法
10.4.1  文檔指紋計(jì)算
10.4.2  相似文檔查找
10.5  SpotSig算法
10.5.1  特征抽取
10.5.2  相似文檔查找
本章提要
本章參考文獻(xiàn)

第11章  搜索引擎緩存機(jī)制
11.1  搜索引擎緩存系統(tǒng)架構(gòu)
11.2  緩存對(duì)象
11.3  緩存結(jié)構(gòu)
11.4  緩存淘汰策略（Evict Policy）
11.4.1  動(dòng)態(tài)策略
11.4.2  混合策略
11.5  緩存更新策略（Refresh Policy）
本章提要
本章參考文獻(xiàn)

第12章  搜索引擎發(fā)展趨勢(shì)
12.1  個(gè)性化搜索
12.2  社會(huì)化搜索
12.3  實(shí)時(shí)搜索
12.4  移動(dòng)搜索
12.5  地理位置感知搜索
12.6  跨語(yǔ)言搜索
12.7  多媒體搜索
12.8  情境搜索