目　錄

第一部分　HBase基礎

第1章　HBase介紹　3
1.1　數據管理系統(tǒng)：速成　4
1.1.1　你好，大數據　5
1.1.2　數據創(chuàng)新　6
1.1.3　HBase的崛起　7
1.2　HBase使用場景和成功案例　8
1.2.1　典型互聯網搜索問題：BigTable發(fā)明的原因　8
1.2.2　抓取增量數據　9
1.2.3　內容服務　12
1.2.4　信息交換　13
1.3　你好HBase　14 目　錄

第一部分　HBase基礎

第1章　HBase介紹　3
1.1　數據管理系統(tǒng)：速成　4
1.1.1　你好，大數據　5
1.1.2　數據創(chuàng)新　6
1.1.3　HBase的崛起　7
1.2　HBase使用場景和成功案例　8
1.2.1　典型互聯網搜索問題：BigTable發(fā)明的原因　8
1.2.2　抓取增量數據　9
1.2.3　內容服務　12
1.2.4　信息交換　13
1.3　你好HBase　14
1.3.1　快速安裝　14
1.3.2　HBase Shell命令行交互　16
1.3.3　存儲數據　17
1.4　小結　18

第2章　入門　20
2.1　從頭開始　21
2.1.1　創(chuàng)建表　21
2.1.2　檢查表模式　22
2.1.3　建立連接　22
2.1.4　連接管理　23
2.2　數據操作　23
2.2.1　存儲數據　24
2.2.2　修改數據　25
2.2.3　工作機制：HBase寫路徑　25
2.2.4　讀數據　26
2.2.5　工作機制：HBase讀路徑　27
2.2.6　刪除數據　28
2.2.7　合并：HBase的后臺工作　28
2.2.8　有時間版本的數據　29
2.2.9　數據模型概括　30
2.3　數據坐標　31
2.4　小結　33
2.5　數據模型　37
2.5.1　邏輯模型：有序映射的映射集合　37
2.5.2　物理模型：面向列族　39
2.6　表掃描　40
2.6.1　設計用于掃描的表　41
2.6.2　執(zhí)行掃描　42
2.6.3　掃描器緩存　43
2.6.4　使用過濾器　43
2.7　原子操作　44
2.8　ACID語義　45
2.9　小結　46

第3章　分布式的HBase、HDFS和MapReduce　48
3.1　一個MapReduce的例子　49
3.1.1　延遲與吞吐量　49
3.1.2　串行計算吞吐量有限　50
3.1.3　并行計算提高吞吐量　50
3.1.4　MapReduce：用布式計算最大化吞吐量　51
3.2　Hadoop　MapReduce概覽　52
3.2.1　MapReduce數據流介紹　53
3.2.2　MapReduce內部機制　57
3.3　分布式模式的HBase　58
3.3.1　切分和分配大表　58
3.3.2　如何找到region　61
3.3.3　如何找到–ROOT–表　62
3.4　HBase和MapReduce　64
3.4.1　使用HBase作為數據源　64
3.4.2　使用HBase接收數據　66
3.4.3　使用HBase共享資源　67
3.5　信息匯總　71
3.5.1　編寫MapReduce應用　72
3.5.2　運行MapReduce應用　73
3.6　大規(guī)模條件下的可用性和可靠性　74
3.6.1　HDFS作為底層存儲　75
3.7　小結　77

第二部分　高級概念

第4章　HBase表設計　81
4.1　如何開始模式設計　82
4.1.1　問題建�！�82
4.1.2　需求定義：提前多做準備工作總是有好處的　84
4.1.3　均衡分布數據和負載的建模方法　87
4.1.4　目標數據訪問　93
4.2　反規(guī)范化是HBase世界里的詞語　95
4.3　相同表里的混雜數據　97
4.4　行鍵設計策略　98
4.5　IO考慮　99
4.5.1　為寫優(yōu)化　99
4.5.2　為讀優(yōu)化　101
4.5.3　基數和行鍵結構　101
4.6　從關系型到非關系型　102
4.6.1　一些基本概念　103
4.6.2　嵌套實體　105
4.6.3　沒有映射到的一些東西　106
4.7　列族高級配置　107
4.7.1　可配置的數據塊大小　107
4.7.2　數據塊緩存　108
4.7.3　激進緩存　108
4.7.4　布隆過濾器　108
4.7.5　生存時間(TTL)　109
4.7.6　壓縮　110
4.7.7　單元時間版本　110
4.8　過濾數據　111
4.8.1　實現一個過濾器　113
4.8.2　預裝過濾器　115
4.9　小結　118

第5章　使用協(xié)處理器擴展HBase　120
5.1　兩種協(xié)處理器　121
5.1.1　Observer協(xié)處理器　121
5.1.2　endpoint協(xié)處理器　123
5.2　實現一個observer　124
5.2.1　修改模式　124
5.2.2　從HBase開始　126
5.2.3　安裝observer　128
5.2.4　其他安裝選項　130
5.3　實現一個endpoint　131
5.3.1　為endpoint定義接口　131
5.3.2　實現endpoint服務器　132
5.3.3　實現endpoint客戶端　133
5.3.4　部署endpoint服務器　135
5.3.5　試運行　136
5.4　小結　136

第6章　其他的HBase客戶端選擇　137
6.1　在UNIX里使用HBase Shell腳本　138
6.1.1　準備HBase Shell　138
6.1.2　使用UNIX Shell腳本創(chuàng)建表模式　139
6.2　使用JRuby進行HBase Shell編程　141
6.2.1　準備HBase Shell　141
6.2.2　訪問TwitBase的users表　142
6.3　通過REST訪問HBase　144
6.3.1　啟動HBase REST服務　145
6.3.2　訪問TwitBase的users表　146
6.4　通過Python使用HBase Thrift網關　149
6.4.1　生成Python語言的HBase Thrift客戶端庫　151
6.4.2　啟動HBase Thrift服務　152
6.4.3　掃描TwitBaseuser表　153
6.5　asynchbase：另外一種HBase Java客戶端　156
6.5.1　創(chuàng)建一個asynchbase項目　157
6.5.2　改變TwitBase的密碼策略　159
6.5.3　試運行　171
6.6　小結　172

第三部分　應用系統(tǒng)實例

第7章　通過實例學習HBase：OpenTSDB　175
7.1　OpenTSDB概述　176
7.1.1　挑戰(zhàn)：基礎設施監(jiān)控　177
7.1.2　數據：時間序列　178
7.1.3　存儲：HBase　179
7.2　設計一個HBase應用系統(tǒng)　180
7.2.1　模式設計　180
7.2.2　應用架構　184
7.3　實現一個HBase應用系統(tǒng)　187
7.3.1　存儲數據　187
7.3.2　查詢數據　192
7.4　小結　196

第8章　在HBase上查詢地理信息系統(tǒng)　197
8.1　運用地理數據　197
8.2　設計一個空間索引　199
8.2.1　從復合行鍵開始　201
8.2.2　介紹geohash　202
8.2.3　理解geohash　205
8.2.4　在有空間感知特性的行鍵里使用geohash　206
8.3　實現最近鄰居查詢　210
8.4　把計算工作推往服務器端　215
8.4.1　基于查詢多邊形創(chuàng)建一次geohash掃描　217
8.4.2　區(qū)域內查詢第一幕：客戶端　222
8.4.3　區(qū)域內查詢第二幕：WithinFilter　224
8.5　小結　228

第四部分　讓HBase運轉起來

第9章　部署HBase　233
9.1　規(guī)劃集群　234
9.1.1　原型集群　235
9.1.2　小型生產集群(10～20臺服務器)　235
9.1.3　中型生產集群(50臺以下服務器)　236
9.1.4　大型生產集群(超過50臺服務器)　237
9.1.5　Hadoop Master節(jié)點　237
9.1.6　HBase Master　238
9.1.7　Hadoop DataNode和HBase RegionServer　238
9.1.8　ZooKeeper　239
9.1.9　采用云服務怎么樣？　240
9.2　部署軟件　242
9.2.1　Whirr：在云端部署　242
9.3　發(fā)行版本　244
9.3.1　使用原生Apache發(fā)行版本　244
9.3.2　使用Cloudera的CDH發(fā)行版本　245
9.4　配置　246
9.4.1　HBase配置　246
9.4.2　與HBase有關的Hadoop配置參數　252
9.4.3　操作系統(tǒng)配置　253
9.5　管理守護進程　254
9.6　小結　255

第10章　運維　256
10.1　監(jiān)控你的集群　257
10.1.1　HBase如何輸出監(jiān)控指標　257
10.1.2　收集監(jiān)控指標和圖形展示　258
10.1.3　HBase輸出的監(jiān)控指標　260
10.1.4　應用端監(jiān)控　264
10.2　HBase集群的性能　265
10.2.1　性能測試　265
10.2.2　什么影響了HBase的性能　268
10.2.3　優(yōu)化支撐系統(tǒng)　269
10.2.4　優(yōu)化HBase　270
10.3　集群管理　274
10.3.1　啟動和停止HBase　274
10.3.2　優(yōu)雅停止和讓節(jié)點退役　275
10.3.3　增加節(jié)點　276
10.3.4　滾動重啟和升級　276
10.3.5　bin/hbase和HbaseShell　277
10.3.6　維護一致性——hbck　283
10.3.7　查看HFile和HLog　286
10.3.8　預先拆分表　288
10.4　備份和復制　290
10.4.1　集群間復制　290
10.4.2　使用MapReduce作業(yè)進行備份　294
10.4.3　備份根目錄　298
10.5　小結　299

附錄A　探索HBase系統(tǒng)　300
附錄B　更多關于HDFS的工作原理　307