大數(shù)據(jù)時(shí)代的到來(lái)給企業(yè)帶來(lái)了前所未有的機(jī)遇和挑戰(zhàn)。在海量數(shù)據(jù)背后,蘊(yùn)藏著巨大的價(jià)值,然而,如何高效地管理、存儲(chǔ)和處理這些海量數(shù)據(jù)成了擺在企業(yè)面前的重要問(wèn)題。中國(guó)的大數(shù)據(jù)行業(yè)正處于快速增長(zhǎng)和廣泛應(yīng)用的階段。作為全球較大的數(shù)據(jù)生產(chǎn)國(guó)家,中國(guó)擁有豐富多樣的數(shù)據(jù)資源。政府提出了互聯(lián)網(wǎng) 和數(shù)字中國(guó)戰(zhàn)略,積極推動(dòng)大數(shù)據(jù)技術(shù)在各行各業(yè)的應(yīng)用,推動(dòng)數(shù)字經(jīng)濟(jì)的發(fā)展。與此同時(shí),中國(guó)的大數(shù)據(jù)行業(yè)也不斷壯大,產(chǎn)業(yè)鏈日益完善,涉及數(shù)據(jù)采集、存儲(chǔ)、分析和應(yīng)用等多個(gè)環(huán)節(jié)。Hive作為大數(shù)據(jù)領(lǐng)域一種重要的數(shù)據(jù)倉(cāng)庫(kù)解決技術(shù),以其強(qiáng)大的分布式存儲(chǔ)、靈活的數(shù)據(jù)查詢(xún)功能和高效的數(shù)據(jù)壓縮優(yōu)化,成為眾多企業(yè)構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)的首選工具。本教材旨在為讀者提供一套實(shí)踐指南,幫助他們理解和應(yīng)用Hive,構(gòu)建高效、可靠的數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)。本書(shū)是專(zhuān)為應(yīng)用型本科和高職學(xué)生撰寫(xiě)的實(shí)踐指南,內(nèi)容涵蓋了Hive的核心概念和原理,從Hadoop和Hive的安裝和配置開(kāi)始、Hive的各數(shù)據(jù)類(lèi)型定義,到數(shù)據(jù)庫(kù)和表的操作、數(shù)據(jù)的查詢(xún)、內(nèi)置函數(shù)的應(yīng)用、數(shù)據(jù)各存儲(chǔ)格式的使用場(chǎng)景和壓縮、數(shù)據(jù)調(diào)優(yōu)和智慧電商數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的搭建,逐步引導(dǎo)學(xué)生掌握Hive的使用方法和技巧,幫助讀者構(gòu)建完整的數(shù)據(jù)倉(cāng)庫(kù)流程。項(xiàng)目一主要訓(xùn)練Hadoop和Hive的環(huán)境搭建能力,共有2個(gè)任務(wù),任務(wù)一通過(guò)Hadoop大數(shù)據(jù)開(kāi)發(fā)環(huán)境搭建實(shí)踐,理解Hadoop的知識(shí),掌握Hadoop完全分布式集群搭建;任務(wù)二通過(guò)Hive環(huán)境搭建實(shí)踐,理解數(shù)據(jù)倉(cāng)庫(kù)和Hive概念,掌握根據(jù)需求進(jìn)行合理Hive部署。項(xiàng)目二主要訓(xùn)練Hive數(shù)據(jù)定義能力,有1個(gè)任務(wù),任務(wù)通過(guò)定義不同類(lèi)型數(shù)據(jù)實(shí)踐,理解基本數(shù)據(jù)類(lèi)型,復(fù)雜數(shù)據(jù)類(lèi)型,并掌握不同數(shù)據(jù)類(lèi)型的定義。項(xiàng)目三主要訓(xùn)練Hive數(shù)據(jù)管理能力,共有2個(gè)任務(wù),任務(wù)一通過(guò)Hive數(shù)據(jù)庫(kù)和表操作實(shí)踐,理解HiveDDL,掌握HiveDDL數(shù)據(jù)庫(kù)增刪改查等,掌握Hive數(shù)據(jù)表的增刪改等能力;任務(wù)二通過(guò)員工信息數(shù)據(jù)的導(dǎo)入、導(dǎo)出實(shí)踐,理解HiveDML,掌握數(shù)據(jù)導(dǎo)入和導(dǎo)出的操作能力。項(xiàng)目四主要訓(xùn)練Hive數(shù)據(jù)檢索能力,共有2個(gè)任務(wù),任務(wù)一通過(guò)員工信息基本查詢(xún)實(shí)踐,理解和掌握Hive的運(yùn)算符、常用函數(shù)、篩選條件等概念和操作;任務(wù)二通過(guò)員工信息高級(jí)查詢(xún)實(shí)踐,掌握分組、排序、Join等高級(jí)查詢(xún)能力。項(xiàng)目五主要訓(xùn)練Hive內(nèi)置函數(shù)和自定義函數(shù)應(yīng)用能力,共有2個(gè)任務(wù),任務(wù)一通過(guò)員工信息的操作實(shí)踐,理解和掌握Hive內(nèi)置函數(shù)的語(yǔ)法和操作;任務(wù)二通過(guò)制定范圍、員工信息查詢(xún)、入職日期查詢(xún)等實(shí)踐,理解自定義函數(shù)的不同類(lèi)別,掌握自定義函數(shù)的操作。 項(xiàng)目六主要訓(xùn)練數(shù)據(jù)存儲(chǔ)與壓縮能力,共有3個(gè)任務(wù),任務(wù)一通過(guò)數(shù)據(jù)壓縮實(shí)踐,理解和掌握MR的壓縮設(shè)置、Map和Reduce階段的壓縮;任務(wù)二通過(guò)不同文件存儲(chǔ)格式實(shí)踐,理解和掌握列式和行式存儲(chǔ)、TextFile格式、ORC格式、Parquet格式存儲(chǔ);任務(wù)三通過(guò)存儲(chǔ)和壓縮結(jié)合實(shí)踐,理解和掌握ORC、Parquet存儲(chǔ)方式的壓縮。項(xiàng)目七主要訓(xùn)練數(shù)據(jù)優(yōu)化能力,共有2個(gè)任務(wù),任務(wù)一通過(guò)表的優(yōu)化實(shí)踐,理解小表Join大表、大表Join大表、MapJoin (MR引擎)、GroupBy等問(wèn)題,掌握空Key過(guò)濾、空Key轉(zhuǎn)換、MapJoin優(yōu)化等優(yōu)化;任務(wù)二通過(guò)MR引擎調(diào)優(yōu)實(shí)踐,理解和掌握復(fù)雜文件、小文件合并、設(shè)置Reduce、動(dòng)態(tài)分區(qū)等優(yōu)化。項(xiàng)目八主要搭建綜合實(shí)戰(zhàn)項(xiàng)目智慧電商數(shù)據(jù)分析平臺(tái),通過(guò)項(xiàng)目準(zhǔn)備、項(xiàng)目實(shí)現(xiàn)、數(shù)據(jù)展示,使用一個(gè)完整項(xiàng)目,將本教材知識(shí)融會(huì)貫通,培養(yǎng)企業(yè)實(shí)際項(xiàng)目問(wèn)題解決能力,培養(yǎng)Hive數(shù)據(jù)倉(cāng)庫(kù)分層、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)分析、Tableau數(shù)據(jù)可視化展示能力。本書(shū)特點(diǎn)是學(xué)校教師與企業(yè)專(zhuān)家共同編寫(xiě),應(yīng)用項(xiàng)目式、理實(shí)一體化教學(xué)、思政教學(xué),引入企業(yè)真實(shí)項(xiàng)目,并包含豐富的學(xué)習(xí)資源。(1)校企共同編寫(xiě),本教材由學(xué)校教師與華為技術(shù)有限公司、慧科教育科技集團(tuán)有限公司共同編寫(xiě),項(xiàng)目平臺(tái)及案例由華為技術(shù)有限公司、慧科教育科技集團(tuán)有限公司提供。(2)三實(shí)教學(xué),通過(guò)實(shí)際場(chǎng)景、實(shí)踐項(xiàng)目、實(shí)戰(zhàn)檢驗(yàn),將真實(shí)的企業(yè)工作模式、操作環(huán)境搬入教材,通過(guò)實(shí)踐項(xiàng)目來(lái)對(duì)知識(shí)點(diǎn)進(jìn)行鞏固和加強(qiáng),將零碎的知識(shí)揉合在一起,讓學(xué)生對(duì)知識(shí)有一個(gè)整體性的認(rèn)識(shí),最后進(jìn)行實(shí)戰(zhàn)檢驗(yàn)。(3)項(xiàng)目化教學(xué),通過(guò)項(xiàng)目描述、任務(wù)說(shuō)明、知識(shí)引入、任務(wù)實(shí)現(xiàn)、練習(xí)測(cè)驗(yàn)等環(huán)節(jié)設(shè)置項(xiàng)目式教學(xué),充分發(fā)掘?qū)W生的自身潛能,培養(yǎng)和提高學(xué)生的實(shí)踐動(dòng)手、分析問(wèn)題、解決問(wèn)題及綜合能力,提升學(xué)生對(duì)知識(shí)的理解與深化。(4)理實(shí)一體化教學(xué),按任務(wù)分析理論講解操作演示技能訓(xùn)練進(jìn)程實(shí)施理實(shí)一體化教學(xué),教學(xué)過(guò)程融教學(xué)做于一體,使學(xué)生很快地從理性上升到感性,實(shí)現(xiàn)知識(shí)技能的貫通,提高了教學(xué)效率。(5)思政教學(xué),教材通過(guò)拓展知識(shí),舉例中國(guó)企業(yè)華為擴(kuò)展Hive數(shù)據(jù)倉(cāng)庫(kù)技術(shù)自主開(kāi)發(fā)的軟件開(kāi)發(fā)工具、組件和行業(yè)應(yīng)用等,增強(qiáng)民族自豪感,培養(yǎng)愛(ài)國(guó)主義精神、精益求精和創(chuàng)新的工匠精神、艱苦奮斗的鉆研精神等。(6)教學(xué)資源豐富,教材提供豐富的微課視頻、PPT課件、教案、題庫(kù)、項(xiàng)目案例數(shù)據(jù)和代碼。本書(shū)由馮明卿、袁帥、王曉燕擔(dān)任主編,李俊艷、簡(jiǎn)艷英、趙波、段銳、王寧博擔(dān)任副主編,盧珊、唐佐俠、劉涵青、侯思悅、劉灃嘯、王楠、李亞棟、董亮參與編寫(xiě)。本書(shū)由易焱華、李祺擔(dān)任主審,他們提出了許多建設(shè)性的意見(jiàn)和建議。在本書(shū)的編寫(xiě)中,鄭州電力高等專(zhuān)科學(xué)校的其他同仁給予了熱情的支持,提出了許多寶貴的建議。同時(shí)本書(shū)還參考、引用了國(guó)內(nèi)外很多專(zhuān)家、同行出版的圖書(shū)和相關(guān)資料,在此一并表示衷心的感謝。由于作者水平有限,加之技術(shù)發(fā)展迅速,新概念、新應(yīng)用層出不窮,書(shū)中難免存在疏漏和不妥之處,如有問(wèn)題可聯(lián)系郵箱510582939@qq.com,歡迎廣大同行專(zhuān)家、讀者不吝批評(píng)指正。