關于我們
書單推薦
新書推薦
|
Hadoop大數(shù)據(jù)分布式計算框架--原理與應用
討論大數(shù)據(jù)技術時,首先需要了解大數(shù)據(jù)的基本處理流程,主要包括數(shù)據(jù)采集、存儲、分析和結果呈現(xiàn)等環(huán)節(jié)。數(shù)據(jù)無處不在,互聯(lián)網(wǎng)網(wǎng)站、政務系統(tǒng)、零售系統(tǒng)、辦公系統(tǒng)、自動化生產(chǎn)系統(tǒng)、監(jiān)控攝像頭、傳感器等,每時每刻都在不斷產(chǎn)生數(shù)據(jù)。這些分散在各處的數(shù)據(jù),需要采用相應的設備或軟件進行采集。采集到的數(shù)據(jù)通常無法直接用于后續(xù)的數(shù)據(jù)分析,因為對于來源眾多、類型多樣的數(shù)據(jù)而言,數(shù)據(jù)缺失和語義模糊等問題是不可避免的,因而必須采取相應的措施有效解決這些問題,這就需要一個被稱為數(shù)據(jù)預處理的過程,把數(shù)據(jù)變成一個可用的狀態(tài)。數(shù)據(jù)預處理以后,會被存放到文件系統(tǒng)或數(shù)據(jù)庫系統(tǒng)中進行存儲與管理,然后采用數(shù)據(jù)挖掘工具對數(shù)據(jù)進行處理分析,最后采用可視化工具為用戶呈現(xiàn)結果。在整個數(shù)據(jù)處理過程中,還必須注意隱私保護和數(shù)據(jù)安全等問題。
因此,從數(shù)據(jù)分析全流程的角度,大數(shù)據(jù)技術主要包括數(shù)據(jù)采集與預處理、數(shù)據(jù)存儲和管理、數(shù)據(jù)處理與分析、數(shù)據(jù)安全和隱私保護等幾個層面的內容。
你還可能感興趣
我要評論
|