基于元數(shù)據(jù)驅(qū)動通用操作器的數(shù)據(jù)倉儲構(gòu)建
定 價:55 元
- 作者:Bin Jiang(瑞士)鄭悅林等譯著
- 出版時間:2014/12/1
- ISBN:9787307148826
- 出 版 社:武漢大學(xué)出版社
- 中圖法分類:G250
- 頁碼:321
- 紙張:膠版紙
- 版次:1
- 開本:16K
《基于元數(shù)據(jù)驅(qū)動通用操作器的數(shù)據(jù)倉儲構(gòu)建》主要關(guān)注數(shù)據(jù)倉儲領(lǐng)域的兩個有效性挑戰(zhàn)。
第一個,即其主要挑戰(zhàn)是實(shí)踐性挑戰(zhàn)。與當(dāng)今的其他構(gòu)建數(shù)據(jù)倉儲方法相比,采用《基于元數(shù)據(jù)驅(qū)動通用操作器的數(shù)據(jù)倉儲構(gòu)建》介紹的方法可以實(shí)質(zhì)性地更經(jīng)濟(jì)、更快速、更安全地構(gòu)建數(shù)據(jù)倉儲。第二個有效性挑戰(zhàn)是概念性挑戰(zhàn)。通過圍繞幾個基本概念的精確討論,對數(shù)據(jù)倉儲構(gòu)建領(lǐng)域的思考和探討會變得更加有效。
《基于元數(shù)據(jù)驅(qū)動通用操作器的數(shù)據(jù)倉儲構(gòu)建》覆蓋了數(shù)據(jù)倉儲構(gòu)建的主要領(lǐng)域,包括數(shù)據(jù)倉儲的定義和環(huán)境;數(shù)據(jù)倉儲的4個類型、對數(shù)據(jù)倉儲的5類共15個要求;2個方法論的總結(jié)及3個構(gòu)建方法。《基于元數(shù)據(jù)驅(qū)動通用操作器的數(shù)據(jù)倉儲構(gòu)建》給出了一個高性能的參照系統(tǒng)結(jié)構(gòu)。基于此參照系統(tǒng)結(jié)構(gòu),《基于元數(shù)據(jù)驅(qū)動通用操作器的數(shù)據(jù)倉儲構(gòu)建》系統(tǒng)地討論了大量設(shè)計(jì)議題,包括21個設(shè)計(jì)建議、8個實(shí)踐建議、7個設(shè)計(jì)原則、27個通用算法和技術(shù)、12個元數(shù)據(jù)驅(qū)動的通用操作符、7個工作過程、4個范式基礎(chǔ)及范式原則,并設(shè)計(jì)35個易學(xué)易做的構(gòu)建練習(xí)。
最后,《基于元數(shù)據(jù)驅(qū)動通用操作器的數(shù)據(jù)倉儲構(gòu)建》提出的方法已在實(shí)際的商業(yè)領(lǐng)域進(jìn)行應(yīng)用,其成效是對方法的有效性最有力的證實(shí)。
Dr.BinJiang(蔣彬博士),于1986年獲得德國Dortmund大學(xué)計(jì)算機(jī)科學(xué)碩士學(xué)位,于1992年獲得瑞士蘇黎世聯(lián)邦理工學(xué)院計(jì)算機(jī)科學(xué)博士學(xué)位。求學(xué)期間,他在數(shù)據(jù)庫管理系統(tǒng)領(lǐng)域的兩篇論文分別發(fā)表在1990年和1992年的數(shù)據(jù)工程IEEE會議上,并被評為最優(yōu)秀學(xué)生論文。 畢業(yè)后,他先后任職于瑞士多家銀行及保險公司,早年在大型國際數(shù)據(jù)倉儲咨詢公司擔(dān)任過系統(tǒng)工程師、軟件工程師、系統(tǒng)分析員。至今,已擔(dān)任了近二十年的數(shù)據(jù)倉儲高級顧問以及架構(gòu)師。
第1章 緒論
1.1 數(shù)據(jù)倉儲與數(shù)據(jù)
1.2 數(shù)據(jù)倉儲的上下文
1.3 數(shù)據(jù)倉儲的分類
1.3.1 拓?fù)浣Y(jié)構(gòu)/后臺分類
1.3.2 組織機(jī)構(gòu)/前端分類
1.3.3 時間性/更新分類
1.3.4 地理特性/位置分類
1.4 數(shù)據(jù)倉儲需滿足的要求
1.4.1 功能性要求
1.4.2 信息性要求
1.4.3 操作性要求
1.4.4 經(jīng)濟(jì)性要求
1.4.5 安全性要求
1.5 數(shù)據(jù)倉儲方法論
1.5.1 教條的開發(fā)方法:自上而下
1.5.2 實(shí)用的開發(fā)方法:自下而上
1.5.3 有效的方法:居頂不下
1.6 數(shù)據(jù)倉儲構(gòu)建的方法
1.6.1 老方法:手工ELT法
1.6.2 新方法:工具輔助的ETL法
1.6.3 現(xiàn)代方法:工具輔助的ELT法
1.6.4 未來的方法:基于MGO的ELT法
1.7 構(gòu)建本書同時構(gòu)建一數(shù)據(jù)倉儲
第一篇 設(shè)計(jì)問題、概念和體系結(jié)構(gòu)
第2章 體系結(jié)構(gòu)概要
第3章 預(yù)備域
3.1 源應(yīng)用系統(tǒng)
3.1.1 分析
3.1.2 接口
3.2 預(yù)備域
3.2.1 平面文件區(qū)
3.2.2 原始袁區(qū)
3.2.3 已預(yù)備表區(qū)
3.2.4 平面文件加載
3.2.5 錯誤拒絕
3.2.6 變化量識別
3.2.7 列清洗和域完整性的保證
3.2.8 行過濾
3.2.9 操作識別
3.2.1 0最小設(shè)計(jì)原則
第4章 處理域
4.1 數(shù)據(jù)
4.1.1 代碼數(shù)據(jù)
4.1.2 對象數(shù)據(jù)
4.1.3 事件數(shù)據(jù)
4.2 時間性
4.2.1 歷史化
4.2.2 歸檔
4.2.3 三時維
4.3 數(shù)據(jù)完整性
4.3.1 參照完整性
4.3.2 實(shí)體完整性
4.4 收集
4.4.1 事件數(shù)據(jù)歸檔
4.4.2 對象數(shù)據(jù)歷史化
4.4.3 代碼數(shù)據(jù)歷史化
4.5 整合
4.5.1 對象標(biāo)識轉(zhuǎn)換
4.5.2 列數(shù)據(jù)轉(zhuǎn)換
4.5.3 表模式轉(zhuǎn)換
4.6 完整性保證
4.6.1 參照完整性保證
4.6.2 實(shí)體完整性保證
4.7 錯誤處理
4.8 處理域組件
第5章 存儲域
5.1 中央存儲區(qū)
5.1.1 邏輯數(shù)據(jù)模型和規(guī)范化
5.1.2 物理數(shù)據(jù)模型和去規(guī)范化
5.2 分析展示層
5.3 效能強(qiáng)化區(qū)
5.3.1 維度數(shù)據(jù)模型
5.3.2 特殊結(jié)構(gòu)
5.3.3 模型轉(zhuǎn)換
5.4 使用數(shù)據(jù)區(qū)
5.5 訪問控制層
5.6 存儲域組件
第6章 基礎(chǔ)設(shè)施
6.1 進(jìn)程管理
6.1.1 依賴關(guān)系圖
6.1.2 事務(wù)模型
6.2 元數(shù)據(jù)管理
6.2.1 元數(shù)據(jù)
6.2.2 采集、管理和利用
6.3 對象組織
第二篇 組件、算法與技術(shù)
第7章 數(shù)據(jù)預(yù)備
7.1 平面文件加載
7.1.1 平面文件加載器
7.1.2 平面文件加載腳本
7.2 變化量識別
7.3 列清洗
7.3.1 缺省值
7.3.2 列清洗器
7.4 行過濾
7.4.1 日志機(jī)制
7.4.2 行過濾器
7.5 數(shù)據(jù)導(dǎo)出
第8章 數(shù)據(jù)處理
8.1 數(shù)據(jù)收集
8.1.1 對象建史器
8.1.2 事件歸檔器
8.1.3 行存儲器
8.1.4 行移除器
8.2 數(shù)據(jù)整合
8.2.1 代理鍵生成器
8.2.2 鍵轉(zhuǎn)換器
8.2.3 列數(shù)據(jù)轉(zhuǎn)換器
8.2.4 關(guān)系代數(shù)運(yùn)算符
8.2.5 連接構(gòu)建器
8.3 參照完整性保證
8.3.1 等待空間管理器
8.3.2 外鍵處理器
8.3.3 代碼表補(bǔ)充器
8.4 實(shí)體完整性保證機(jī)制
8.4.1 重疊檢測器
8.4.2 優(yōu)先權(quán)決定器
8.4.3 雙時維重疊的基本組合
8.4.4 基本矩形分解器
8.4.5 重疊消除器
8.4.6 重疊解決舉例
8.4.7 分析
……
第9章 數(shù)據(jù)存儲
第三篇 構(gòu)建范式及元數(shù)據(jù)驅(qū)動通用操作器
第10章 范式基礎(chǔ)
第11章 元數(shù)據(jù)驅(qū)動的通用操作器
第四篇 生存環(huán)境及更多
第12章 基礎(chǔ)設(shè)施環(huán)境
第13章 方法論與經(jīng)濟(jì)學(xué)上的分析
第14章 結(jié)束語
索引
《基于元數(shù)據(jù)驅(qū)動通用操作器的數(shù)據(jù)倉儲構(gòu)建》:
3.1:M。一個源表的數(shù)據(jù)行被分配到多個目標(biāo)表中,也有兩種情況:
。1)垂直型1:M。將源表的行按照一定的條件分成若干組,每個組對應(yīng)一個目標(biāo)表。
(2)水平型1:M。將源表行數(shù)據(jù)的各列分成若干組,每個組對應(yīng)一個目標(biāo)表。
4.M:N。包含上述子類的各種可能組合。當(dāng)目標(biāo)表的結(jié)構(gòu)與源數(shù)據(jù)模型明顯不同時就會出現(xiàn)這種情況。
實(shí)際上,上述絕大部分轉(zhuǎn)換類別中都涉及以下具體任務(wù):
。1)明確選取的源表中有多少列需要處理以適應(yīng)目標(biāo)表。
(2)確定源表中有哪些列需要映射到目標(biāo)表的哪些列中。
。3)根據(jù)目標(biāo)表確定源表列的排列順序。
有時,直接將源表轉(zhuǎn)換成目標(biāo)表的結(jié)構(gòu)很難實(shí)現(xiàn),甚至根本不可能做到。這種情況下就可以將整個轉(zhuǎn)換過程分解為若干個簡單的步驟。每一步產(chǎn)生的中間結(jié)果都存入“工作表”,通過使用“工作表”讓轉(zhuǎn)換過程變得易于實(shí)現(xiàn),且更簡單。當(dāng)數(shù)據(jù)倉儲的構(gòu)建活動中應(yīng)用了一些復(fù)雜的算法或者很復(fù)雜的數(shù)據(jù)結(jié)構(gòu)時往往采用這種方法。