第1章 大數(shù)據(jù)概述
1.1 從AlphaGo說起
1.2 大數(shù)據(jù)定義
1.3 大數(shù)據(jù)產(chǎn)生的原因
1.4 大數(shù)據(jù)發(fā)展歷程
1.5 大數(shù)據(jù)的特征
1.6 數(shù)據(jù)的度量
1.7 大數(shù)據(jù)思維
1.8 科學研究范式的發(fā)展
1.9 大數(shù)據(jù)的影響及應用
1.10 大數(shù)據(jù)計算模式及產(chǎn)品
第2章 數(shù)據(jù)收集
2.1 外部數(shù)據(jù)收集
2.1.1 網(wǎng)絡爬蟲原理
2.1.2 搜索排序策略
2.1.3 Web網(wǎng)絡圖
2.1.4 構建爬蟲系統(tǒng)
2.2 內(nèi)部數(shù)據(jù)收集
2.2.1 Flume
2.2.2 Chukwa
第3章 數(shù)據(jù)存儲
3.1 文件存儲
3.1.1 Hadoop簡介
3.1.2 文件存儲
3.1.3 HDFS的基本術語
3.1.4 HDFS運行架構
3.1.5 HDFS安全設計
3.1.6 HDFS的弱點
3.2 數(shù)據(jù)庫存儲
3.2.1 NoSQL簡介
3.2.2 列族數(shù)據(jù)庫HBase
3.2.3 文檔數(shù)據(jù)庫MongoDB
3.2.4 圖數(shù)據(jù)庫
3.2.5 鍵-值對數(shù)據(jù)庫
第4章 數(shù)據(jù)處理
4.1 離線批處理框架
4.2 MapReduce計算框架
4.3 Hadoop簡介
4.3.1 Hadoop生態(tài)圈
4.3.2 Hadoop發(fā)展歷程
4.3.3 Hadoop的特性
4.3.4 Hadoop的版本
4.4 HDFS高可用性架構
4.5 HDFS聯(lián)邦
4.6 YARN
4.7 Hadoop工具集
4.8 消息機制
4.8.1 消息處理模型
4.8.2 JMS
4.9 內(nèi)存計算框架Spark
4.9.1 Spark的配置方式
4.9.2 Spark的主要特點
4.9.3 Spark生態(tài)圈
4.9.4 Spark與Hadoop比較
4.9.5 Spark運行架構
4.9.6 Spark基本運行流程
4.9.7 RDD
4.10 流式計算框架
4.10.1 流式計算處理過程
4.10.2 常見的流式計算軟件
4.10.3 Storm系統(tǒng)
4.10.4 Spark Streaming
4.10.5 流計算與批處理計算的區(qū)別
4.11 圖計算
4.11.1 Pregel圖計算框架的提出
4.11.2 超步
4.11.3 Pregel計算模型
4.11.4 Pregel的C++ API
4.11.5 Pregel體系結構
4.11.6 容錯性
第5章 大數(shù)據(jù)可視化
5.1 數(shù)據(jù)可視化定義
5.2 數(shù)據(jù)可視化發(fā)展歷程
5.3 數(shù)據(jù)可視化的作用
5.4 數(shù)據(jù)可視化設計步驟
5.5 數(shù)據(jù)可視化設計要素
5.6 顏色可視化設計
5.6.1 色彩空間
5.6.2 色彩三要素
5.7 數(shù)據(jù)可視化基本圖形選用
5.8 數(shù)據(jù)可視化工具
第6章 信息檢索
6.1 信息檢索定義
6.2 相關性
6.2.1 布爾模型
6.2.2 排序布爾模型
6.2.3 向量空間模型
6.2.4 語言模型
6.3 及時性
6.4 搜索引擎
6.4.1 網(wǎng)頁鏈接分析法
6.4.2 電子商務中的商品排序
6.4.3 開源搜索引擎
6.5 推薦系統(tǒng)
6.5.1 何謂推薦系統(tǒng)
6.5.2 推薦系統(tǒng)與電商
6.5.3 推薦系統(tǒng)數(shù)據(jù)基礎
6.5.4 推薦方法
6.5.5 開源推薦系統(tǒng)
6.6 互聯(lián)網(wǎng)廣告
第7章 數(shù)據(jù)挖掘
7.1 基本概念
7.1.1 數(shù)據(jù)挖掘的定義
7.1.2 相關技術
7.2 數(shù)據(jù)來源
7.3 數(shù)據(jù)表示與預處理
7.4 機器學習算法
7.4.1 關聯(lián)分析
7.4.2 分類
7.4.3 回歸分析算法
7.4.4 聚類分析
7.5 數(shù)據(jù)挖掘工具軟件
第8章 效能評估
8.1 效果評估
8.1.1 對信息檢索的評估
8.1.2 對分類的評估
8.1.3 對聚類的評估
8.2 性能評估
附錄 Hadoop編年史
參考文獻