第章
　　3
　　HiveQL數(shù)據(jù)操作
　　本章摘要
　　在第2章中學(xué)習(xí)了管理表、外部表、分區(qū)表和桶表的概念，并且學(xué)習(xí)了創(chuàng)建、修改和刪除表。在本章中將學(xué)習(xí)如何對Hive表中的數(shù)據(jù)進(jìn)行操作。
　　首先，將學(xué)習(xí)如何把數(shù)據(jù)加載到表中，以及如何把表中的數(shù)據(jù)導(dǎo)出到指定的位置；其次，作為本章最重要的部分，將要學(xué)習(xí)一些數(shù)據(jù)查詢語句，包括簡單的查詢語句和復(fù)雜的查詢語句，因為好多用戶需求需要通過查詢語句得出結(jié)果；最后，簡單介紹抽樣查詢。
　　3.1數(shù)據(jù)加載與導(dǎo)出
　　本節(jié)主要學(xué)習(xí)如何往表中加載數(shù)據(jù)，以及怎么導(dǎo)出數(shù)據(jù)。數(shù)據(jù)加載的幾種主要方式：從本地系統(tǒng)中導(dǎo)入數(shù)據(jù)到Hive表中、從HDFS上導(dǎo)入數(shù)據(jù)到Hive表中、通過查詢語句向Hive表中導(dǎo)入數(shù)據(jù)，以及動態(tài)分區(qū)插入數(shù)據(jù)；數(shù)據(jù)導(dǎo)出包括如何導(dǎo)出數(shù)據(jù)和導(dǎo)到何處。
　　3.1.1數(shù)據(jù)加載
　　1.從本地系統(tǒng)中導(dǎo)入數(shù)據(jù)到Hive表中
　　實例：hive>LOADDATALOCALINPATH'/home/zkpk/empmessages'INTOTABLEemp_messages;本例是把本地文件empmessages中的數(shù)據(jù)導(dǎo)入創(chuàng)建的Hive表emp_messages中。通過這個實例，整理出通用的語句格式是：LOADDATALOCALINPATH'/本地文件路徑'INTOTABLEtablename;注意：關(guān)鍵字LOCAL不能漏掉。如果忘記此關(guān)鍵字，則默認(rèn)從HDFS上去尋找所需要的數(shù)據(jù)文件路徑。
　　2.從HDFS上導(dǎo)入數(shù)據(jù)到Hive表中
　　實例：\[zkpk@master~\]$hadoopfs-put/home/zkpk/empmessages/data/emp_messages;由于已創(chuàng)建的管理表就在HDFS上，所以只需要將文件put到管理表所在的目錄就可以完成數(shù)據(jù)導(dǎo)入。通過這個實例，整理出來通用的語句格式是：hadoopfs-put'/數(shù)據(jù)所存放的本地路徑''/創(chuàng)建表時存放表的路徑'大數(shù)據(jù)
　　離線分析
　　0第3章
　　HiveQL數(shù)據(jù)操作
　　03.通過查詢語句向Hive表中導(dǎo)入數(shù)據(jù)
　　通過查詢語句向一張Hive空表中導(dǎo)入數(shù)據(jù)的實例。hive>INSERTINTOTABLEemp_messagesSELECT�矲ROMold_emp_messages;如該例所示，首次向表中插入數(shù)據(jù)時，語句為INSERTINTOTABLEtablenameSELECT...INTO...。
　　查看此時表中的數(shù)據(jù)，驗證執(zhí)行結(jié)果。使用OVERWRITE關(guān)鍵字時，可以覆蓋目標(biāo)表中原來相同partition中的所有數(shù)據(jù)，如果目標(biāo)表中沒有partition，則覆蓋整個表。hive>INSERTOVERWRITETABLEemp_messagesSELECT�矲ROMold_emp_messages;查看此時表中的數(shù)據(jù)，驗證執(zhí)行結(jié)果。4.動態(tài)分區(qū)插入數(shù)據(jù)
　　所謂動態(tài)分區(qū)，也稱作動態(tài)分區(qū)插入，指的是插入目標(biāo)表時僅指定分區(qū)字段，不指定分區(qū)值，分區(qū)值是從原始表中取得的。靜態(tài)分區(qū)和動態(tài)分區(qū)的區(qū)別在于導(dǎo)入數(shù)據(jù)時，是手動輸入分區(qū)名稱，還是通過數(shù)據(jù)來判斷數(shù)據(jù)分區(qū)。如果一次插入上百上千個分區(qū)中，只寫插入的代碼就很多,這種場景就適合使用動態(tài)分區(qū)插入功能。
　　默認(rèn)情況下，Hive是支持動態(tài)分區(qū)插入的，但是并沒有開啟。開啟后，默認(rèn)是以“嚴(yán)格”模式執(zhí)行：要求至少有一列分區(qū)字段是靜態(tài)的。這有助于阻止因設(shè)計錯誤導(dǎo)致查詢產(chǎn)生大量的分區(qū)。表3��1描述了動態(tài)分區(qū)相關(guān)的屬性設(shè)置。表3��1動態(tài)分區(qū)屬性
　　屬性名稱默認(rèn)值描述hive.exec.dynamic.partitionfalse設(shè)置成true，表示開啟動態(tài)分區(qū)功能hive.exec.dynamic.partition.modestrict設(shè)置成nonstrict，表示允許所有分區(qū)都是動態(tài)的hive.exec.max.dynamic.partitions.pernode100每個Mapper或Reducer可以創(chuàng)建的最大動態(tài)分區(qū)個數(shù)。如果某個Mapper或Reducer嘗試創(chuàng)建大于這個值的分區(qū)，則會拋出一個致命的錯誤信息hive.exec.max.dynamic.partitions1000一個動態(tài)分區(qū)創(chuàng)建語句可以創(chuàng)建的最大動態(tài)分區(qū)個數(shù)。如果超過這個值，則會拋出一個致命錯誤信息hive.exec.max.created.files100000全局可以創(chuàng)建的最大文件個數(shù)。有一個Hadoop計數(shù)器會跟蹤記錄創(chuàng)建了多少個文件，如果超過這個值，則會拋出一個致命錯誤信息在學(xué)習(xí)動態(tài)分區(qū)插入數(shù)據(jù)前，先學(xué)習(xí)靜態(tài)分區(qū)插入數(shù)據(jù)。所謂的靜態(tài)分區(qū)插入數(shù)據(jù)就是在寫插入語句時，分區(qū)的值為一個確定的值，通過如下的例子可以加深認(rèn)識。hive>INSERTOVERWRITETABLEtestparPARTITION(days='0328')
　　>SELECT�矲ROMtesttWHEREt.day='0328';接下來，查看一下插入的結(jié)果。動態(tài)分區(qū)，顧名思義，就是在分區(qū)的字段值不確定的情況下進(jìn)行數(shù)據(jù)插入操作。hive>INSERTOVERWRITETABLEtestparPARTITION(days)
　　>SELECT�矲ROMtest;注意：如果分區(qū)是可以確定的，建議用靜態(tài)分區(qū)的方式。不要用動態(tài)分區(qū)，因為動態(tài)分區(qū)的值是在reduce運行階段確定的，也就是會把所有的記錄distributeby。可想而知，表記錄非常大的情況下，只有一個reduce處理，后果是不可想象的。然而，靜態(tài)分區(qū)在編譯階段已經(jīng)確定，不需要reduce處理。
　　3.1.2數(shù)據(jù)導(dǎo)出
　　數(shù)據(jù)導(dǎo)出可以分為：導(dǎo)出到本地文件系統(tǒng)中；導(dǎo)出到HDFS文件中；從一張表導(dǎo)出到另一張表中。
　　1.把數(shù)據(jù)導(dǎo)出到本地文件系統(tǒng)中hive>INSERTOVERWRITELOCALDIRECTORY'/home/zkpk/test'
　　>SELECT�矲ROMtest;執(zhí)行完上面的語句，在本地文件系統(tǒng)中查看有沒有導(dǎo)出數(shù)據(jù)的文件。2.把數(shù)據(jù)導(dǎo)出到HDFS文件中hive>INSERTOVERWRITEDIRECTORY'/data/test_1'
　　>SELECT�矲ROMtest;查看結(jié)果如下：3.從一張表導(dǎo)出到另一張表中hive>INSERTINTOTABLEtest_1
　　>SELECT�矲ROMtest;查看結(jié)果如下：
　　如果數(shù)據(jù)文件恰好是用戶所需要的格式，那么只需要把數(shù)據(jù)復(fù)制到目標(biāo)路徑下。hadoopfs-cp/source_path/target_path
　　3.2數(shù)據(jù)查詢
　　在本節(jié)中，通過搜狗搜索日志分析系統(tǒng)案例來介紹一些常用的數(shù)據(jù)查詢語句。
　　創(chuàng)建表：hive>CREATETABLEsougou_20111230(
　　>logdateSTRING,
　　>uidSTRING,
　　>keywordSTRING,
　　>rankINT,
　　>searchorderINT,
　　>urlSTRING)
　　>ROWFORMATDELIMITED
　　>FIELDSTERMINATEDBY'\\t'
　　>LOCATION'/data/sogou_20111230';
　　hive>CREATETABLEsougou_old_20111230(
　　>logdateSTRING,
　　>uidSTRING,
　　>keywordSTRING,
　　>rankINT,
　　>searchorderINT,
　　>urlSTRING)
　　>ROWFORMATDELIMITED
　　>FIELDSTERMINATEDBY'\\t'
　　>LOCATION'/data/sogou_old_20111230';3.2.1SELECT...FROM語句
　　SELECT...FROM語句和MySQL中的語法是一致的，SELECT是SQL中的投影算子，F(xiàn)ROM子句標(biāo)識了從哪個表、視圖或嵌套查詢中選擇記錄。
　　查詢表sougou_20111230中的所有字段信息。一張表中的字段有可能非常多，當(dāng)用戶所需要查詢的字段只需要少數(shù)幾個時，把需要的字段列舉出來即可。對于集合數(shù)據(jù)類型，引用集合數(shù)據(jù)類型中的元素有以下方式。
　　(1)數(shù)組引用方式，其索引是從0開始的(和Java一樣)，語句如下：SELECT字段名\[集合數(shù)據(jù)類型中的元素的位置\]FROMtablename;注意：引用一個不存在的元素將會返回NULL。
　　(2)為了引用一個MAP元素，用戶還可以使用ARRAY\[...\]語法，但是使用的鍵值是非整數(shù)索引。語句如下：SELECT字段名\[集合數(shù)據(jù)類型中的元素內(nèi)容\]FROMtablename;(3)為了引用STRUCT中的一個元素，用戶可以使用“.”符號，類似于“表的別名.列名”。SELECT字段名.集合中的某個元素FROMtablename;FROM子句在使用中還有以下用法和功能。
　　1.LIMIT語句
　　往往典型的查詢會返回多行數(shù)據(jù)，有時候不需要查詢那么多行，這時候可以使用LIMIT關(guān)鍵字來限制行數(shù)。例如，查詢表sougou_20111230中5行數(shù)據(jù)。hive>SELECT�矲ROMsougou_20111230LIMIT5;結(jié)果如下：
　　……