大數(shù)據(jù)處理技術(shù)開發(fā)應(yīng)用
定 價(jià)：48 元
- 作者：主編熊澤明, 王興奎
- 出版時(shí)間：2022/8/1
- ISBN：9787568083775
- 出 版 社：華中科技大學(xué)出版社
- 中圖法分類：TP274
- 頁碼：234
- 紙張：
- 版次：1
- 開本：26cm
全書共分8章, 第1章概述了大數(shù)據(jù); 第2章介紹了大數(shù)據(jù)平臺(tái)部署的詳細(xì)過程; 第3章介紹了Hadoop應(yīng)用開發(fā)、使用Java操作HDFS和認(rèn)識(shí)MapReduce; 第4章介紹了Hive數(shù)據(jù)倉庫開發(fā)、Hive開發(fā)環(huán)境的搭建和Hive高級(jí)操作; 第5章介紹了Flume開發(fā)應(yīng)用、安裝Flume、Flume自定義實(shí)現(xiàn); 第6章介紹了Kafka開發(fā)應(yīng)用、Kafka的安裝與配置、Kafka監(jiān)控和編程實(shí)現(xiàn); 第7章介紹了PySparkJ開F發(fā)應(yīng)用、PySpark配置和PySpark案例; 第8章介紹了Flink開發(fā)應(yīng)用、Flink部署和Flink案例。
本書包含課件PPT 習(xí)題及答案 視頻 思政元素。采用目前行業(yè)主流大數(shù)據(jù)處理技術(shù)。校企深度合作，共同開發(fā)。理論與實(shí)戰(zhàn)相結(jié)合，實(shí)操性強(qiáng)。
公開發(fā)表論文13篇，其中核心期刊6篇；主持主研重慶市級(jí)教改項(xiàng)目及科研項(xiàng)目15項(xiàng)；國家軟件著作權(quán)2項(xiàng)；國家職業(yè)技能標(biāo)準(zhǔn)《農(nóng)業(yè)經(jīng)理人5-05-01-02》核心專家；國家農(nóng)業(yè)行業(yè)標(biāo)準(zhǔn)《農(nóng)業(yè)職業(yè)經(jīng)理人》NY/T2805－2015核心專家。中國農(nóng)業(yè)大學(xué)出版社《計(jì)算機(jī)應(yīng)用基礎(chǔ)》，2008，主編西南大學(xué)出版社《農(nóng)村實(shí)用信息技術(shù)》，2015，主編電子科技大學(xué)出版社《高級(jí)辦公軟件應(yīng)用教程》，2019，副主編電子科技大學(xué)出版社《python程序設(shè)計(jì)基礎(chǔ)教程》，2020，主編四川大學(xué)出版社《3DS MAX2018虛擬現(xiàn)實(shí)（VR）模型制作項(xiàng)目案例》，主編中國傳媒大學(xué)出版社《大學(xué)信息技術(shù)基礎(chǔ)》，副主編合肥工業(yè)大學(xué)出版社《農(nóng)村信息化技術(shù)》，主編中國農(nóng)業(yè)出版社《農(nóng)業(yè)經(jīng)理人（理論）》，參編
第1章 大數(shù)據(jù)概述
1.1 大數(shù)據(jù)簡介 /1
1.2 大數(shù)據(jù)應(yīng)用開發(fā)流程 /5
1.3 Hadoop生態(tài)體系 /14
1.4 本章小結(jié) /17
1.5 課后習(xí)題 /17
第2章 Hadoop平臺(tái)部署
2.1 安裝準(zhǔn)備 /18
2.2 Hadoop核心組件 /39
2.3 Hadoop的搭建 /43
2.4 MapReduce開發(fā)環(huán)境的搭建 /60
2.5 本章小結(jié) /67
2.6 課后習(xí)題 /67
第3章 Hadoop應(yīng)用開發(fā)
3.1 使用HDFS的shell指令 /68
3.2 使用Java操作HDFS /71
3.3 認(rèn)識(shí)MapReduce /78
3.4 本章小結(jié) /84
3.5 課后習(xí)題 /84
第4章 Hive數(shù)據(jù)倉庫開發(fā)
4.1 Hive概述 /86
4.2 Hive開發(fā)環(huán)境的搭建 /91
4.3 Hive基本操作 /98
4.4 Hive高級(jí)操作 /113
4.5 本章小結(jié) /119
4.6 課后習(xí)題 /120
第5章 Flume開發(fā)應(yīng)用
5.1 Flume概述 /123
5.2 Flume行業(yè)應(yīng)用 /124
5.3 安裝Flume /126
5.4 配置過濾器 /132
5.5 Flume自定義實(shí)現(xiàn) /134
5.6 本章小結(jié) /144
5.7 課后習(xí)題 /145
第6章 Kafka開發(fā)應(yīng)用
6.1 Kafka概述 /146
6.2 Kafka的安裝與配置 /148
6.3 Kafka API簡介 /158
6.4 Kafka監(jiān)控 /161
6.5 Kafka編程 /166
6.6 本章小結(jié) /171
6.7 課后習(xí)題 /172
第7章 PySpark開發(fā)應(yīng)用
7.1 PySpark概述 /173
7.2 PySpark配置 /174
7.3 PySpark常用接口 /176
7.4 PySpark案例 /179
7.5 本章小結(jié) /187
7.6 課后習(xí)題 /187
第8章 Flink開發(fā)應(yīng)用
8.1 Flink概述 /189
8.2 FLink部署 /192
8.3 FLink API /197
8.4 Flink項(xiàng)目案例 /206
8.5 本章小結(jié) /233
8.6 課后習(xí)題 /233
參與文獻(xiàn) /235
前言21世紀(jì)，隨著現(xiàn)代信息技術(shù)的不斷發(fā)展，世界已跨入了互聯(lián)網(wǎng) 大數(shù)據(jù)時(shí)代。大數(shù)據(jù)產(chǎn)業(yè)正在深刻改變著人們的思維、生產(chǎn)和生活方式，正在掀起新一輪的產(chǎn)業(yè)和技術(shù)革命。大數(shù)據(jù)技術(shù)歷經(jīng)“十三五”期間的孕育成長后，目前大數(shù)據(jù)已覆蓋政府、金融、交通、企業(yè)、教育、醫(yī)療等各應(yīng)用領(lǐng)域，與5G通信技術(shù)、物聯(lián)網(wǎng)技術(shù)、互聯(lián)網(wǎng)產(chǎn)業(yè)相融合，在大數(shù)據(jù)技術(shù)領(lǐng)域起著重要的支撐作用。特別是在2020年疫情以后，大數(shù)據(jù)技術(shù)這個(gè)詞已是家喻戶曉，其應(yīng)用極為火爆，為人們的衣、食、住、行提供服務(wù)。目前大數(shù)據(jù)根據(jù)企業(yè)發(fā)行的不同，每家企業(yè)都有自己發(fā)行的大數(shù)據(jù)版本。雖然各家企業(yè)的大數(shù)據(jù)處理技術(shù)都由自己的研發(fā)團(tuán)隊(duì)設(shè)計(jì)，但目前主流的大數(shù)據(jù)都是基于開源技術(shù)的Hadoop大數(shù)據(jù)平臺(tái)進(jìn)行開發(fā)與運(yùn)維的。在從事大數(shù)據(jù)技術(shù)運(yùn)維與管理的工作中，都是圍繞著開源Hadoop系統(tǒng)核心技術(shù)去開展工作的。在大數(shù)據(jù)領(lǐng)域，很多核心技術(shù)都是基于開源Hadoop系統(tǒng)的。本書在編寫過程中，主要以大數(shù)據(jù)處理技術(shù)生態(tài)圈展開。將大數(shù)據(jù)平臺(tái)運(yùn)維教學(xué)與企業(yè)大數(shù)據(jù)開發(fā)實(shí)戰(zhàn)運(yùn)維工作相結(jié)合，將目前主流的大數(shù)據(jù)運(yùn)維技術(shù)整合為大數(shù)據(jù)綜合實(shí)訓(xùn)案例知識(shí)點(diǎn)，適當(dāng)融入課程思政的內(nèi)容，對(duì)本書難點(diǎn)、重點(diǎn)部分錄制了操作性較強(qiáng)的視頻微課，形成一本實(shí)操性較強(qiáng)的大數(shù)據(jù)處理技術(shù)專業(yè)書籍。讀者能夠快速了解大數(shù)據(jù)處理技術(shù)和大數(shù)據(jù)底層開發(fā)核心技術(shù)，通過理論 綜合實(shí)訓(xùn)方法，快速掌握目前大數(shù)據(jù)的核心知識(shí)點(diǎn)和技能點(diǎn)。通過本書和社區(qū)技術(shù)的結(jié)合，能夠快速提升讀者的自學(xué)能力，熟練掌握目前主流的大數(shù)據(jù)處理技術(shù)。本書為大數(shù)據(jù)專業(yè)核心課程用書，所涉及的大數(shù)據(jù)處理技術(shù)僅限于教學(xué)和讀者學(xué)習(xí)使用，不用于任何商業(yè)活動(dòng)。本書由重慶三峽職業(yè)學(xué)院的熊澤明教授、北京華晟經(jīng)世信息技術(shù)有限公司的王興奎工程師擔(dān)任主編，由重慶三峽職業(yè)學(xué)院的熊江教授及重慶三峽職業(yè)學(xué)院余淼副教授、秦陽鴻擔(dān)任副主編。重慶三峽職業(yè)學(xué)院的駱偉副教授、廖鈴、熊婭、楊勇及紀(jì)昌寧高級(jí)實(shí)驗(yàn)師等參與部分內(nèi)容的編寫及審校工作。在編寫過程中，我們得到了業(yè)內(nèi)部分大數(shù)據(jù)相關(guān)企業(yè)及工程師的支持和幫助，引用了互聯(lián)網(wǎng)中的大量資料（包括文本和圖片等），核心技術(shù)來自大數(shù)據(jù)技術(shù)社區(qū)官方幫助文檔，在此深表謝意。由于編者能力有限，書中難免存在不足之處，望廣大讀者不吝賜教。編 者 2022年3月
書單推薦
