隨著互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展，傳統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)模型已經(jīng)無法滿足人們對信息處理的要求。尤其是在云計算和物聯(lián)網(wǎng)高速發(fā)展的今天，對管理半結(jié)構(gòu)化數(shù)據(jù)、大規(guī)模信息處理等領(lǐng)域的研究越來越多地被關(guān)注。由于半結(jié)構(gòu)化數(shù)據(jù)模型既能描述半結(jié)構(gòu)化數(shù)據(jù)又能描述結(jié)構(gòu)化數(shù)據(jù)，而且具有靈活易擴展的存儲結(jié)構(gòu)，其已被許多系統(tǒng)和應(yīng)用作為公共數(shù)據(jù)模型，被廣泛地用于異構(gòu)數(shù)據(jù)量大的應(yīng)用中。如今，幾乎所有行業(yè)都制定了描述和共享本領(lǐng)域數(shù)據(jù)的半結(jié)構(gòu)化數(shù)據(jù)模型應(yīng)用標(biāo)準(zhǔn)。此外，由于半結(jié)構(gòu)化數(shù)據(jù)模型具有易于描述結(jié)構(gòu)、易于校驗、易于展現(xiàn)等特點，許多原本是以非結(jié)構(gòu)化方式進行存儲的數(shù)據(jù)，也可以通過半結(jié)構(gòu)化數(shù)據(jù)模型進行描述并存儲。

因此，如何對大規(guī)模半結(jié)構(gòu)化數(shù)據(jù)進行有效的管理，在學(xué)術(shù)界是一個重要的理論研究課題，同時在工業(yè)界又是一項具有廣闊應(yīng)用前景的技術(shù)。本書以XML為代表，探討了大規(guī)模半結(jié)構(gòu)化數(shù)據(jù)管理中的關(guān)鍵問題模式提取、節(jié)點編碼、索引與查詢處理等研究課題。本書主要內(nèi)容如下：

（1）針對現(xiàn)有基于正則表達式的模式提取方法的不足之處，本書根據(jù)XML Schema規(guī)范中元素內(nèi)容模型的特點，提出了XTree算法，該算法可以快速、準(zhǔn)確地并發(fā)提取多個大規(guī)模（GB級）XML文檔的結(jié)構(gòu)。該算法與其他基于正則表達式的算法最顯著的區(qū)別在于，XTree對于元素內(nèi)容模型的提取加入了對元素內(nèi)容模型是否有序的區(qū)分，降低了算法的時間復(fù)雜度和空間復(fù)雜度。

（2）針對現(xiàn)有半結(jié)構(gòu)化數(shù)據(jù)節(jié)點編碼方案的不足之處，本研究提出了D2編碼方案，該算法在靜態(tài)編碼和動態(tài)編碼中都表現(xiàn)出良好的性能，而且易于二進制串行化和反串行化，具有較高的實用價值。和其他半結(jié)構(gòu)化數(shù)據(jù)節(jié)點編碼方案相比，D2編碼最顯著的特點在于，突破了傳統(tǒng)的以整數(shù)作為層標(biāo)識的限制，采用二進制真分?jǐn)?shù)作為層標(biāo)識，由于真分?jǐn)?shù)的取值區(qū)間是無窮的，所以可以保證在任意位置插入節(jié)點都存在有效的編碼。

（3）本書綜合考慮了目前已有的關(guān)系型數(shù)據(jù)庫和大規(guī)模半結(jié)構(gòu)化數(shù)據(jù)的索引技術(shù)的優(yōu)缺點，提出一套完善的索引方案D2-Index索引策略，能夠支持高效的查詢處理。它并不只是使用了一種單一的索引技術(shù)，而是參考和借鑒了多種技術(shù)，如節(jié)點編碼索引、結(jié)構(gòu)索引和倒排索引等。D2-Index索引策略的最顯著之處在于，它的索引文件包括了主索引、路徑輔助索引和值輔助索引，這三種索引都采用分塊存儲的方式提高索引的查找和修改效率。此外，由于是基于D2編碼方案的，所以D2-Index索引策略可以有效地支持節(jié)點的動態(tài)更新。

（4）根據(jù)目前對于大規(guī)模半結(jié)構(gòu)化數(shù)據(jù)查詢處理的研究，本書提出一種以D2-Index索引策略為基礎(chǔ)，基于XPath表達式的CAS查詢處理。這種查詢處理最大的特點在于，將輸入的合法CAS語句拆分為多個BXCAS語句，再對拆分的語句按順序進行處理，根據(jù)D2-Index策略中的路徑和值輔助索引，獲取符合查詢條件的節(jié)點的D2物理編碼，再從主索引中獲取其在源數(shù)據(jù)中的位置信息，最終以異步的方式輸出結(jié)果。