什麼是不確定性
什麼是不確定性?打個比方，老王、老李做一個遊戲「猜花生米」。老王出一隻拳頭，讓老李猜裡面是空的還是抓了一粒花生米。這個事件對老王而言是確定性事件，因為老王自己有沒有抓花生米，他心知肚明。這個事件對猜拳的老李來說就是不確定性事件，因為老李無法對老王的猜拳決策做出絕對準確的預測。
在實際生活中，不確定性事件廣泛存在。事實上，人生就是由一系列或大或小的不確定性事件構成的。婚姻選擇有著極大的不確定性。一對相愛的男女是否應該接受對方成為自己的終身伴侶，這是一個重大選擇。這個選擇的後果是什麼?是幸福的遠航，還是痛苦的開始?這有很大的不確定性。為了極小化這種不確定性，青年男女往往需要一場死去活來的戀愛，以便充分暴露雙方的優點和缺點，以減少未來婚姻中的不確定性。但是，無論你如何了解，這種不確定性仍然存在。
世界到處都充滿了不確定性，那我們對未來的世界認識是不是不可知的?答案是否定的。世界上很多事情是難以用確定的公式或者規則來表示，但是這種不確定性並不是無規律可循，這個時候就需要用到統計學中的概率模型來描述。在概率論的基礎上，資訊理論鼻祖香農博士建立了一套完整的理論，將世界的不確定性和信息聯繫起來，這就是資訊理論，用來解釋不確定性的世界。
信息可消除不確定性
什麼是信息?在看《暗時間》時(推薦大家看看)，裡面討論了一些資訊理論相關的內容，於是就嘗試搜索資訊理論和不確定性的關係，結果發現香農說了這麼一句話：「信息是用來消除不確定性的東西」。資訊理論的鼻祖果然是鼻祖，一句話解釋了信息。
信息是否可以被度量?如何度量信息?1948年，香農提出了「信息熵」這個概念，解決了信息度量的問題。他指出，信息量與不確定性有關：假如我們需要搞清楚一件非常不確定的事情，或者我們一無所知的事情，就需要收集大量的信息。相反，如果我們對某件事已經有了較多的了解，那麼不需要太多的信息就能把它搞清楚。從這個角度來看，信息量的度量就是不確定性的多少。
舉例說明，就拿網際網路廣告來說，在門戶網站上投放展示類的品牌廣告，點擊率是非常低的。因為對於受眾用戶，廣告投放時幾乎是隨機猜測用戶的需求，很不準確。而搜索廣告因為有用戶輸入的關鍵詞，準確率會大幅度提高，至於提高多少，取決於關鍵詞所提供的信息量。這就是搜索廣告所賺到的廣告費用要高出展示廣告兩個數量級。通過這個例子，也能說明，資訊時代，誰掌握了更多的信息，誰就掌握了更多財富的可能性。
大數據與信息的關係
了解大數據的人，都可能知道，大數據有5V特點，這是IBM提出來的:Volume(大量)、Velocity(高速)、Variety(多樣)、Value(低價值密度)、Veracity(真實性)。但從資訊理論的角度，大數據通常是具備三個主要特徵，數據量大，多樣性和完備性。
1、大數據的體量足夠大
大數據最明顯的特點就是體量大，這一點無論是內行還是外行都認可，沒什麼異議。我們國家僅僅北京的國家超級大數據中心，佔地面積就8萬平方米，包含9棟數據中心機房和1棟感知體驗中心。
但是，過去由於數據量不夠，即使用了數據，依然不足以消除不確定性，因此數據的作用其實有限，很多人忽視它的重要性是必然的，數據的價值也就被嚴重低估。在那種情況下，哪個領域先積攢下足夠的數據，它的研究進展就顯得快一些。語音識別領域，就是因為早期積攢了大量的音頻數據，才可以捷足先登，第一批嘗到了數據驅動方法的甜頭。
2、大數據的多維度足夠多
眾所周知，Google的人工智慧已經走在了前沿，也是目前全球估值最高的公司。但是，無論是AlpahaGo、無人駕駛還是IT醫療公司Calico，都是建立在多維度的大數據基礎之上的。例如關於「食物」這個問題，Google會利用用戶輸入的信息，收集所有相關的信息。不僅涉及到食物的做法、吃法、成分、營養價值、價格、問題來源的地域和時間等維度。
大數據的多維度，統計學中稱為相關性，資訊理論中稱為互信息。互信息，它在資訊理論中，實現了對信息相關性的度量。比如「央行調整利率」和「股市短期波動」的互信息很大，這就證實了兩者具備強相關性。第二個視角，交叉驗證。舉例說明，夏天的時候，「空氣溼度高」和「24小時內要下雨」之間的互信息比較大。也就是說空氣溼度高，24小時下雨的可能性比較大，但並不能說空氣溼度高就一定會在24小時內下雨。還需要結合氣壓信息，雲圖信息等其他緯度的信息，來交叉驗證「24小時內要下雨」這件事情，那麼預測的準確性要高的多。
3、大數據的完備性
要理解它，需要介紹資訊理論中的一個重要概念—交叉熵。它可以反映兩個信息源之間的一致性，或者兩種概率模型之間的一致性。當兩個數據源完全一致的時候，其交叉熵為0，當它們相差很大時，它們的交叉熵也很大。因此，所有數據驅動的方法，建立模型使用的數據和使用模型的數據需要有一致性。
抽樣調查方式都是採用抽取有限的樣本進行統計，從而得出整體的趨勢。抽樣的核心原則是隨機性，不隨機就不能真實地反應整體的趨勢。但是要做到隨機性是很難的。例如電視收視率調查，要從不同階層隨機找被調查的人，但高學歷高收入的大忙人們普遍拒絕被調查，他們根本就不會因為幾個蠅頭小利而浪費時間，電視調查的結果就可想而知。
所以，在過去，任何使用概率統計模型都會有很多小概率事件是覆蓋不到的。大數據時代以前，這是數據驅動方法的死穴。
在大數據時代，在某個領域獲得數據的完備性還是有可能的，Google的機器翻譯系統就能很好的要利用大數據的完備性。通過數據學到了不同語言之間很長句子成分的對應，然後直接把一種語言翻譯成另一類，前提條件就是使用的數據必須是比較全面地覆蓋中文、英文，以及其他各種語言的所有句子，也就是說具備兩種語言之間翻譯的完備性。
當數據的完備性具備了以後，就相當於訓練模型的數據集合和使用這個模型的測試集合是同一個集合，或者是高度重複的。這樣的數據驅動方法才是有效的。
由此可見，大數據的科學基礎是資訊理論，它的本質就是利用信息消除不確定性。
——以上內容部分是源自於吳軍老師《智能時代》的讀書筆記。