為什么要寫本書
大數(shù)據(jù)時(shí)代，人們面對(duì)大數(shù)據(jù)，首先想到的是如何分析大數(shù)據(jù)，目前介紹大數(shù)據(jù)分析方法的書籍卻不是很多。作者從事大數(shù)據(jù)分析研究工作多年，很想將做過的大數(shù)據(jù)研究課題積累的一些分析方法分享給各位讀者。
本書組織結(jié)構(gòu)
本書的結(jié)構(gòu)依據(jù)大數(shù)據(jù)的處理構(gòu)建的，包括：組織，依次為大數(shù)據(jù)采集處理方法、大數(shù)據(jù)存儲(chǔ)方法、大數(shù)據(jù)分布式計(jì)算方法、大數(shù)據(jù)分析模型構(gòu)建方法、大數(shù)據(jù)分析模型檢驗(yàn)方法、大數(shù)據(jù)分析模型優(yōu)化方法。
本書的主要內(nèi)容
第1章介紹了大數(shù)據(jù)采集處理方法，重點(diǎn)介紹了如何從互聯(lián)網(wǎng)上采集數(shù)據(jù)，介紹了網(wǎng)絡(luò)爬蟲程序的設(shè)計(jì)和編寫方法以及數(shù)據(jù)清洗方法，著重介紹如何清洗機(jī)器學(xué)習(xí)訓(xùn)練數(shù)據(jù)。
第2章介紹了大數(shù)據(jù)存儲(chǔ)方法，重點(diǎn)介紹了分布式文件存儲(chǔ)系統(tǒng)的原理、配置方法與使用方法。重點(diǎn)介紹了分布式數(shù)據(jù)庫Hbase原理、配置方法與使用方法。
第3章介紹了大數(shù)據(jù)分布式計(jì)算的實(shí)現(xiàn)方法，詳細(xì)介紹了如何搭建Hadoop大數(shù)據(jù)處理平臺(tái)，列舉了詳細(xì)的搭建過程，提供了Hadoop搭建所需的各種配置文件源代碼，提供了構(gòu)建Hadoop所需的命令語句。著重介紹了MapReduce框架結(jié)構(gòu)，運(yùn)行機(jī)理，MapReduce源代碼分析，各種接口和類分析。本章給出了豐富的MapReduce示例，對(duì)示例進(jìn)行詳細(xì)的解讀，讀者可以模仿示例編寫自己的MapReduce程序。
第4章介紹了大數(shù)據(jù)分析模型構(gòu)建方法，主要介紹了如何通過機(jī)器學(xué)習(xí)方法構(gòu)建大數(shù)據(jù)分析模型。
第5章介紹了大數(shù)據(jù)分析模型的檢驗(yàn)方法，分析模型建立以后如何進(jìn)行檢驗(yàn)，這往往是一個(gè)難點(diǎn)，如何檢驗(yàn)?zāi)Ｐ褪欠襁_(dá)到了最初設(shè)計(jì)標(biāo)準(zhǔn)，用什么手段來檢驗(yàn)非常關(guān)鍵，檢驗(yàn)方法是否科學(xué)都很重要。此章還介紹了機(jī)器學(xué)習(xí)構(gòu)建模型常用的檢驗(yàn)方法，如回歸診斷、交叉驗(yàn)證等方法。
第6章重點(diǎn)介紹了模型建立以后，如何優(yōu)化，介紹了幾種優(yōu)化方法，如逐步遞歸法、主成分分析優(yōu)化方法等，特別介紹了通過神經(jīng)網(wǎng)絡(luò)進(jìn)行優(yōu)化。
本書的優(yōu)勢(shì)
本書的內(nèi)容是作者從事科研項(xiàng)目的一些親身經(jīng)歷，開展大數(shù)據(jù)分析項(xiàng)目研究方法的總結(jié)和歸納，內(nèi)容非常實(shí)用，為從事大數(shù)據(jù)分析的研究人員提供了研究步驟和方法。本書的模式是提出問題，然后給出解決方法，這樣讀者如遇到類似問題就可以參考書中提供的方法加以解決。
本書的受眾群體
本書的讀者主要是從事大數(shù)據(jù)分析的研究人員，大數(shù)據(jù)分析系統(tǒng)開發(fā)人員，使用本書的人員應(yīng)該在大數(shù)據(jù)分析方面有一定的基礎(chǔ)，本書的內(nèi)容比較深入，跳過了基本概念和基本理論，主要論述和探索大數(shù)據(jù)分析深層次的內(nèi)容和方法。
致謝
本書是基于北京市教委科技計(jì)劃一般課題：基于機(jī)器學(xué)習(xí)方法的房?jī)r(jià)大數(shù)據(jù)分析模型構(gòu)建研究（課題編號(hào)：KM201610857002）研究?jī)?nèi)容編寫的。
感謝項(xiàng)目組成員冀鋼、劉瑞新、范美英對(duì)本項(xiàng)目做出的貢獻(xiàn)。感謝參與和支持本項(xiàng)目的所有人員。感謝寇俊玲主編嚴(yán)謹(jǐn)和辛勤的工作。