我們生活在一個(gè)任何人都無(wú)法擺脫數(shù)據(jù)的大數(shù)據(jù)時(shí)代。數(shù)據(jù)越多，人們做出的分析就越多——呈現(xiàn)指數(shù)增長(zhǎng)；人們分析得越多，制造出的煙幕彈也就越多。因此，保持清醒的頭腦就變得非常重要。
大數(shù)據(jù)是高科技時(shí)代的流行語(yǔ)，它大約出現(xiàn)在2010 年。這個(gè)行業(yè)喜歡將兩個(gè)詞組織起來(lái)表達(dá)一個(gè)概念，就跟史蒂文· 西格爾（Steven Seagal）喜歡用兩個(gè)詞為他的電影命名一樣。大數(shù)據(jù)是“寬
帶”、“無(wú)線”、“社交媒體”或“網(wǎng)站”這類新概念的后裔。它表示海量的數(shù)據(jù)，僅此而已。
隸屬于被譽(yù)為“傳奇”的麥肯錫管理咨詢公司的麥肯錫全球研究院談起“大數(shù)據(jù)”時(shí)說(shuō)道：“這個(gè)概念指的是那些規(guī)模巨大到通常的數(shù)據(jù)處理軟件都無(wú)法捕捉、存儲(chǔ)、管理和分析的數(shù)據(jù)集�！备鶕�(jù)2011 年其發(fā)表的第一份“大數(shù)據(jù)”報(bào)告，這些研究者所認(rèn)為的“大”是指每家企業(yè)所擁有的數(shù)據(jù)達(dá)到幾十個(gè)乃至上千太字節(jié)（Terabyte）。
我們對(duì)“大數(shù)據(jù)”的理解要比工業(yè)標(biāo)準(zhǔn)更全面。我們之所以關(guān)心這個(gè)問(wèn)題，不是因?yàn)閿?shù)據(jù)越來(lái)越多，而是因?yàn)閷?duì)數(shù)據(jù)的分析越來(lái)越多了。我們不得不投入更多的人手以便能更多、更快地分析數(shù)據(jù)。真正驅(qū)動(dòng)我們這樣做的不是數(shù)據(jù)的數(shù)量而是數(shù)據(jù)的價(jià)值。如果我們想深入研究失業(yè)、通貨膨脹或者其他經(jīng)濟(jì)指標(biāo)，我們可以從美國(guó)勞工統(tǒng)計(jì)局（the Bureau of Labor Statistics）的網(wǎng)站上下載大量的數(shù)據(jù)集。如果某位紐約居民對(duì)某飯店的“B”健康等級(jí)感興趣，他就可以在紐約市的健康與心理衛(wèi)生部（Department of Health and Mental Hygiene）的在線數(shù)據(jù)庫(kù)中，查閱違規(guī)飯店名單。幾年前，當(dāng)豐田汽車被接連曝出存在突然加速的隱患時(shí)，我們了解到美國(guó)國(guó)家公路交通安全管理局（National Highway Traffic Safety Administration）設(shè)立了一個(gè)開(kāi)放資源中心，用來(lái)存儲(chǔ)關(guān)于駕駛員安全方面的投訴。自1990 年代初，任何人都可以從雅虎財(cái)經(jīng)、億創(chuàng)理財(cái)（E*Trade）等網(wǎng)站上，下載到股票、共同基金以及其他金融產(chǎn)品的運(yùn)作情況。有時(shí)，甚至連公司也會(huì)參與其中，使得一些專有的數(shù)據(jù)公開(kāi)化。2006 年，美國(guó)最大的在線DVD 租賃商奈飛公司（Netflix）統(tǒng)計(jì)并發(fā)布了1 億部電影的分類等級(jí)，并征募科學(xué)家來(lái)改進(jìn)預(yù)測(cè)算法。玩家們通過(guò)研究統(tǒng)計(jì)數(shù)字來(lái)獲得競(jìng)爭(zhēng)優(yōu)勢(shì)，從而將“夢(mèng)幻體育”（Fantasy Sports）這個(gè)游戲推到了一個(gè)新的高度。那些過(guò)去印刷在紙版書(shū)的數(shù)據(jù)，如今以電子表格的形式在互聯(lián)網(wǎng)上迅速傳播。數(shù)據(jù)是免費(fèi)的，又很容易獲得，這必然會(huì)產(chǎn)生更多的數(shù)據(jù)分析。
比爾· 蓋茨是美國(guó)企業(yè)成功故事的典型代表。這個(gè)絕頂聰明的孩子，大學(xué)中途退學(xué)，創(chuàng)辦自己的軟件公司。而且他們公司開(kāi)發(fā)的軟件，最終用在了世界90% 的電腦上，比爾也因此賺到了數(shù)十億美元的財(cái)富。后來(lái)，他退出江湖，將大部分財(cái)富捐獻(xiàn)給慈善事業(yè)。比爾以自己和妻子的名義成立了“比爾& 梅琳達(dá)· 蓋茨基金會(huì)”（Bill & Melinda Gates Foundation）。而且我們很高興地看到該基金會(huì)在許多領(lǐng)域進(jìn)行了大膽投資。它涉足的領(lǐng)域包括在發(fā)展中國(guó)家進(jìn)行瘧疾預(yù)防，在美國(guó)進(jìn)行中學(xué)改革，以及對(duì)艾滋�。℉IV/AIDS）的研究。蓋茨基金會(huì)因依靠數(shù)據(jù)來(lái)做出明智的決定，從而贏得了良好的聲譽(yù)。
但這并不意味著他們不會(huì)犯錯(cuò)。蓋茨在千禧年開(kāi)始之際，大力支持小型學(xué)校運(yùn)動(dòng)，他在全美范圍內(nèi)選出了一些學(xué)校，并往這些學(xué)校投入了上億美元。證據(jù)A 是當(dāng)時(shí)的一項(xiàng)統(tǒng)計(jì)發(fā)現(xiàn)：在全美表現(xiàn)最好的學(xué)校中，小型學(xué)校所占的比例不均衡。例如，在賓夕法尼亞州，按照五年級(jí)的閱讀成績(jī)?cè)u(píng)出的前50 所學(xué)校中，12% 是小型學(xué)校。要是學(xué)生的成績(jī)跟學(xué)校的規(guī)模無(wú)關(guān)，那么規(guī)模大的學(xué)校在這50 所名校中所占的比例應(yīng)該是小型學(xué)校的四倍。因此，學(xué)校規(guī)模被認(rèn)為是影響教學(xué)質(zhì)量的重要因素——每個(gè)年級(jí)最多不能超過(guò)100 名學(xué)生。而蓋茨基金會(huì)設(shè)計(jì)的一套改造方案，就是將大型學(xué)校拆分成更小、更高效的小型學(xué)校。
舉例來(lái)說(shuō)，2003 年新學(xué)年伊始，在華盛頓的芒特萊克泰勒斯高中（Mountlake Terrace High School）讀書(shū)的1 800 名學(xué)生發(fā)現(xiàn)，自己的學(xué)校被分成了五所小型學(xué)校，學(xué)校的名字分別叫做“發(fā)現(xiàn)學(xué)�！薄ⅰ案母飳W(xué)�！薄ⅰ皬�(fù)興學(xué)�！钡取２贿^(guò)，校址沒(méi)有改變，還是在以前的大樓里。蓋茨基金會(huì)教育處執(zhí)行主任湯姆· 范德· 阿爾克（Tom Vander Ark）解釋說(shuō)：“大多數(shù)窮人家的孩子，不得不進(jìn)規(guī)模大的學(xué)校念書(shū)，在那里沒(méi)人認(rèn)識(shí)他們，他們被甩進(jìn)了一條難以出頭的死路……小型學(xué)校只不過(guò)營(yíng)造了一個(gè)（比大型學(xué)校）更好的成長(zhǎng)環(huán)境。在那里，比較容易形成積極的氛圍，產(chǎn)生較高的期望值，也更容易優(yōu)化課程設(shè)置，改進(jìn)教學(xué)質(zhì)量�！�
十年以后，蓋茨基金會(huì)卻發(fā)生了徹底的轉(zhuǎn)變，它不再將學(xué)校的規(guī)模視為解決學(xué)生成績(jī)問(wèn)題的唯一方法，而開(kāi)始致力于設(shè)計(jì)富有新意的課程以及提升教學(xué)質(zhì)量。蓋茨基金會(huì)對(duì)學(xué)校重組前后的效果進(jìn)行了細(xì)致的調(diào)查研究，結(jié)果發(fā)現(xiàn)，重組后的學(xué)校平均成績(jī)沒(méi)有變得更好，相反，在某些個(gè)例中變得更差了。
統(tǒng)計(jì)學(xué)家霍華德· 魏訥（Howard Wainer）在美國(guó)教育考試服務(wù)中心（Educational Testing Services）度過(guò)了最好的職業(yè)生涯。魏訥曾抱怨道：“這數(shù)百萬(wàn)美元的錯(cuò)誤，本來(lái)是可以避免的。”在上面提到的對(duì)賓夕法尼亞州的學(xué)校進(jìn)行的同一分析中，魏訥指出，雖然小型學(xué)校在前50 所學(xué)校中占了12% 的份額，但同時(shí)要看到，在后50 所學(xué)校中，有18% 是小型學(xué)校。簡(jiǎn)單來(lái)說(shuō)，小型學(xué)校在這個(gè)分布的兩端所占的比例都偏高。不管強(qiáng)調(diào)哪一部分?jǐn)?shù)據(jù)，分析師們都會(huì)得出完全相反的結(jié)論。在對(duì)飛機(jī)晚點(diǎn)的研究中，我們見(jiàn)過(guò)類似的情況。問(wèn)題的關(guān)鍵不在于多少數(shù)據(jù)被分析，而是被如何分析。
蓋茨基金會(huì)的故事證明了另外一點(diǎn)：數(shù)據(jù)分析是一件棘手的事，無(wú)論是權(quán)威專家還是經(jīng)驗(yàn)豐富的行家，都不能擔(dān)保不出錯(cuò)。不管一個(gè)人的腦袋瓜多么靈光，總會(huì)有一定的犯錯(cuò)范圍。這是因?yàn)�，沒(méi)有人能夠掌握所有信息�！澳鞘窃陧敿馄诳�上發(fā)表的”、“別瞎懷疑了，登在這本期刊上的文章難道會(huì)有錯(cuò)？！”這樣的話經(jīng)常拿來(lái)當(dāng)做堵住別人嘴巴的借口。生活在大數(shù)據(jù)時(shí)代，只有傻瓜才會(huì)采取這種態(tài)度。你聽(tīng)說(shuō)過(guò)很多研究，試圖在某種疾病與某種基因之間建立聯(lián)系，比如，帕金森癥和高血壓�？墒牵�你知道嗎？經(jīng)過(guò)同行評(píng)審、并得到同行認(rèn)可的遺傳學(xué)關(guān)聯(lián)性研究成果，只有30% 能被后續(xù)的研究證實(shí)，其余的都是假陽(yáng)性結(jié)果（false-positive result）。那些聲稱是原創(chuàng)性的研究成果，還沒(méi)來(lái)得及出版勘誤表，就已經(jīng)被推翻了。不過(guò)，話又說(shuō)回來(lái)，我還是希望專家能發(fā)表一些質(zhì)量稍高的分析報(bào)告。
大數(shù)據(jù)在因果關(guān)系這個(gè)問(wèn)題上，實(shí)際上沒(méi)什么好講的。不過(guò)，存在一種普遍的誤解，以為海量的數(shù)據(jù)流能夠?qū)㈦[藏著的“因果關(guān)系”沖出地面。請(qǐng)想一下點(diǎn)擊流吧，網(wǎng)絡(luò)營(yíng)銷人員借助點(diǎn)擊追蹤網(wǎng)絡(luò)用戶，來(lái)以此證明網(wǎng)絡(luò)營(yíng)銷是成功的。顧客點(diǎn)擊了一個(gè)網(wǎng)頁(yè)橫幅廣告或者搜索廣告，然后下了訂單，這不就足以證明網(wǎng)絡(luò)營(yíng)銷成功了嗎？還需要什么更有力的證據(jù)嗎？現(xiàn)實(shí)情況遠(yuǎn)非如此簡(jiǎn)單明了。比方說(shuō)，我在網(wǎng)上點(diǎn)了一個(gè)三星蓋世（Galaxy）的橫幅廣告，隨后將這款手機(jī)放進(jìn)了購(gòu)物車。一個(gè)星期后，我觀看了他們抨擊蘋(píng)果的廣告，覺(jué)得很過(guò)癮，于是，我回到三星的網(wǎng)店完成了這筆交易。分析人員在仔細(xì)分析網(wǎng)絡(luò)日志時(shí)，不但會(huì)漏掉促使我行動(dòng)的真實(shí)原因，而且會(huì)犯假陽(yáng)性錯(cuò)誤，將橫幅廣告跟此次購(gòu)買行為捆綁在了一起。因?yàn)榫W(wǎng)絡(luò)營(yíng)銷人員能看到的只有這些。這些小問(wèn)題在網(wǎng)絡(luò)分析員的生活中稀松
平常。
大數(shù)據(jù)不僅意味著有更多好的分析，也意味著會(huì)有更多壞的分析。要知道，即便是專家和技術(shù)大牛也有掉鏈子的時(shí)候。如果一些不好的數(shù)據(jù)被心懷叵測(cè)的可疑人員添油加醋地利用，事情會(huì)變得更糟糕；不過(guò)，即便是動(dòng)機(jī)純潔的分析人員稍有不慎也會(huì)上當(dāng)受騙。在這個(gè)充滿數(shù)據(jù)的世界中，消費(fèi)者得有一副火眼金睛才行啊！
大數(shù)據(jù)是真實(shí)的，而其影響更是廣泛的。至少，我們每個(gè)人都是數(shù)據(jù)分析的消費(fèi)者。因此，我們必須學(xué)會(huì)成為一個(gè)聰明的消費(fèi)者。我們需要具備的是一種數(shù)字直覺(jué)。
數(shù)字直覺(jué)是我在招聘數(shù)據(jù)分析員時(shí)最為看重的一種品質(zhì)。它能將真正的天才從“還不錯(cuò)”中區(qū)別開(kāi)來(lái)。我希望在應(yīng)聘者身上發(fā)現(xiàn)三樣?xùn)|西：一個(gè)是數(shù)字直覺(jué)，其他兩樣分別是技術(shù)能力跟商業(yè)思維。有些人可能在編程方面無(wú)人能敵，但卻沒(méi)有一點(diǎn)數(shù)字直覺(jué)；有些人可能是個(gè)講故事的高手，能將一個(gè)個(gè)的情節(jié)串聯(lián)起來(lái)，但是卻沒(méi)有任何數(shù)字直覺(jué)。數(shù)字直覺(jué)是第三維度。
我寫(xiě)作這本書(shū)的目的是引你上路。本書(shū)的每一章都是由近期讀到的一則新聞?dòng)|發(fā)靈感而寫(xiě)成的。在這些新聞故事中，有人提出了一些觀點(diǎn)，并且援引數(shù)據(jù)來(lái)證明自己的觀點(diǎn)。我通過(guò)提一些尖銳的問(wèn)題，檢查一致性，數(shù)理論證，有時(shí)候，也會(huì)通過(guò)獲取并分析相關(guān)數(shù)據(jù)，來(lái)展示我是如何驗(yàn)證這些觀點(diǎn)的。比如，我會(huì)質(zhì)疑高朋（Groupon）的商業(yè)模型有意義嗎？一種檢測(cè)肥胖的新方法能解決我們最大的健康危機(jī)嗎？克萊蒙德麥肯那學(xué)院（Claremont McKenna College）在學(xué)院排名游戲中小規(guī)模作弊了嗎？政府公布的通脹跟失業(yè)數(shù)據(jù)值得信任嗎？我們?nèi)绾卧u(píng)價(jià)夢(mèng)幻體育聯(lián)盟的表現(xiàn)？當(dāng)商家通過(guò)追蹤我們的活動(dòng)來(lái)實(shí)現(xiàn)個(gè)性化營(yíng)銷時(shí)，我們會(huì)從中受益嗎？
即使是專家有時(shí)候也會(huì)掉進(jìn)數(shù)據(jù)的陷阱中。如果我在這本書(shū)里面也犯了此類的錯(cuò)誤，那么責(zé)任完全在我。要是我沒(méi)有把觀點(diǎn)講得足夠清楚，那就意味著這些數(shù)據(jù)的分析方法不止一種。我鼓勵(lì)你們形成自己的觀點(diǎn)。只有通過(guò)這樣的練習(xí)實(shí)踐，才能培養(yǎng)出你自己的數(shù)字直覺(jué)。
歡迎來(lái)到大數(shù)據(jù)時(shí)代，不過(guò)，要處處留神才是！