隨著信息爆炸產生的海量數據時代的來臨,數據中所蘊含的價值將會對人類社會產生直接的,全面的,甚至是革命性的影響。因此,在大數據背景下,有效地分析,組織和使用各類數據,將對科技進步以及經濟發(fā)展產生巨大的推動作用,孕育出前所未有的機遇。針對大數據技術體系架構,本著作總結出在大數據處理流程中,所面臨不同層面的問題及其相互關系,歸納出解決大數據環(huán)境下三大核心問題(信息檢索,數據挖掘和知識發(fā)現)的算法特性及計算能力。同時,通過深入了解智能理論起源及與傳統人工智能進行對比,本著作研究計算智能理論及其各分支算法,詳細介紹其計算本質,提出了基于模擬機制的計算智能分類方法,并對計算智能混合算法進行了深入討論。最后,面向大數據檢索、挖掘和發(fā)現問題,分別提出了基于計算智能的解決方法和一般過程,并總結出基于計算智能的大數據處理范式特點,為大數據背景下的計算智能研究提供了理論支撐。通過收集風電機組的發(fā)電指標、關鍵零部件的實時運行參數、此前十年的氣象資料等數據,在這些數據基礎上綜合作出判斷和預測,分析并提升風電布網的資源配比,并及時反饋到研發(fā)和運維領域,為后續(xù)的布網提供參考。除了風機設備本身產生的數據,還包括統計自然環(huán)境產生的更大數據庫,即包含風和地形在內的環(huán)境數據,繪制出一張風資源分布地圖,進而科學知道風電布網。
更多科學出版社服務,請掃碼獲取。
目錄
前言
第1章 大數據及相關概念1
1.1大數的產生背景1
1.1.1物理空間、信息空間與賽博空間1
1.1.2賽博空間中的數據爆炸4
1.1.3數據量快速增長的原因5
1.2大數和大數據時代7
1.2.1大數據定義及屬性7
1.2.2大數據的深層次含義解讀21
1.2.3大數據時代的特點22
1.3大數與傳統麵的區(qū)別24
1.3.1從量子力學、復雜系統到大數據24
1.3.2主要區(qū)別27
1.4大數時代的科學發(fā)現之路31
1.4.1科學研究方法的更新32
1.4.2與傳統研究方法的區(qū)別32
1.4.3“谷歌式”關聯研究方法的限制條件及價值33
1.5大數帶來的挑戰(zhàn)及機遇35
1.5.1挑戰(zhàn)35
1.5.2機遇39
第2章 大數據理論研究45
2.1大據艦的本質依據45
2.1.1因果性和相關性45
2.1.2大數據情緒理論48
2.1.3理論模型探究50
2.1.4大數據理論研究的整體框架51
2.2大數處理流程和技術體系56
2.2.1大數據處理的一般流程50
2.2.2大數據應用的技術體系50
第3章 大數據面臨的主要問題68
3.1面向大麵處理流程的主要問題及期互關系68
3.2獲取冋題70
3.2.1大數據獲取70
3.2.2網絡爬蟲問題描述75
3.3存儲和管理問題76
3.3.1信息存儲技術和存儲系統77
3.3.2圖像壓縮編碼問題82
3.4信息檢索84
3.4.1信息檢索的基本定義及模型84
3.4.2文本挖掘及其存在的問題88
3.5麵挖掘90
3.5.1數據挖掘產生背景90
3.5.2數據挖掘問題本質91
3.5.3大數據環(huán)境下的數據挖掘挑戰(zhàn)及問題98
3.6知識發(fā)現102
3.6.1知識發(fā)現及其基本步驟102
3.6.2模式評價104
3.6.3模式可視化112
3.6.4模式評價及優(yōu)化問題描述113
第4章 計算智能基礎114
4.1計算智能研究現狀及趨勢115
4.2計算智能的定義119
4.3計算籠體系化分麵究及其混合算法一性設計122
4.3.1計算智能分類方法概述122
4.3.2基于模擬機制的計算智能分類方法123
4.4有機機制模擬126
4.4.1基于種群的模擬126
4.4.2基于個體的模擬131
4.4.3基于個體模擬的層次結構141
4.5無機機制模擬142
4.6人造機制模擬143
4.7基于3種的計算智能混合算法一般性設計144
4.8計算智能混合方法麵究147
4.8.1模糊神經網148
4.8.2基于進化計算的獅建模168
4.9計算智能的未來探索169
第5章 計算智能與大數據處理170
5.1計算智能在數據獲取中的應用170
5.1.1常見的網絡蟲搜索策略170
5.1.2基于估價函數的啟發(fā)式搜索策略171
5.2計算智能在數據存儲中的應用172
5.2.1粒群優(yōu)化算法173
5.2.2粒群優(yōu)化算法的數學抽象和流程173
5.2.3基于粒群優(yōu)化的1)0改進算法174
5.3計算智能在信息檢索中的應用176
5.3.1特征選擇176
5.3.2基于模擬退火的特征選擇178
5.3.3基于禁忌搜索的特征選擇182
5.4計算智能在數據挖掘中的應用186
5.4.1支持向量機186
5.4.2模糊聚類及其算法優(yōu)化方案192
5.5計算智能在知識發(fā)現中的應用198
5.5.1多維時間序列數據挖掘及其模式表達198
5.5.2基于八的模式評價及優(yōu)化200
第6章 計算智能在大數據領域的應用前景展望203
6.1蓬勃發(fā)展的大麵203
6.1.1出己0061平臺204
6.1.25Spark平臺207
6.1.3NoSQL208
6.2大麵應用案例211
6.2.1圍棋人工智能程序211
6.2.2深度問答系統213
6.2.3互聯網企業(yè)大數據218
6.3方興未艾的計算智能221
6.3.1大數據分析中的計算智能方法221
6.3.2存在的問題和進一步的研究方向228
參考文獻232