說信息 侃負熵

2021-01-16 人民郵電報

    信息對於我們來說,並不陌生。事實上我們時刻都在與信息打交道,都在不斷地接收信息、加工信息、利用信息。我們的一切離不開信息,就像生活離不開空氣和水、萬物生長離不開太陽一樣。什麼是信息?嚴格地講,當前關於信息這個名詞,還沒有一個明確的被公認的定義,一些科學詞典對此是眾說紛紜,莫衷一是。如有的認為:「信息就是所觀察的事物的知識」;有的認為「信息是特定的消息、情報、知識」等等。這些都是從語言學的角度來講的。資訊理論認為,信息是指用符號傳送的報導,報導的內容是接收符號者預先不知道的。從哲學的意義來說,事物之間是存在著普遍聯繫的,甲事物的變化可能聯繫著乙事物的變化,乙事物的變化可看成是甲事物變化的某種表示。因此,作為科學的嚴格定義,信息是現實事物間根據自然的規律或人為的約定建立聯繫的一種形式,是被表示出來的事物的增添了的確定性或者被消除了的不確定性。例如,求知,就是從知識中提取信息的過程;巡航飛彈按「電子地圖」行進,就是從中不斷地攝取制導信息,排除不確定性,來選擇其飛行路線。

    語言、消息、電碼、數字、圖片、聲音、資料、命令等等都是表達信息的工具和形式。普通的電話,只是通過簡單的聲音來傳遞信息;計算機多媒體系統,則是通過圖、文、聲、像等多種形式來傳遞信息。同一信息,表達的方式可以多種多樣,在不同的約定下,同一種東西也可以代表不同的信息。當今,隨著科學技術的突飛猛進,從有線無線到微波衛星直至「信息高速公路」等信息的傳輸載體,使我們置身於多媒體信息網絡之中,能快捷方便地共享信息資源。這表明我們正處於一個多媒體的資訊時代,這個時代將縮短時間、消除距離、忽視文化的差異,信息這一神秘的力量無處不在、無時不有。

    信息是繼材料、能源之後的又一大資源。但信息既非物質、也非能量,它們一同構成人類社會的三大要素。美國哈佛大學信息政策研究中心主任安瑟尼·G·歐廷格教授把物質、能量和信息三者的關係描述為:沒有物質,就什麼東西也不存在;沒有能量,就什麼事情也不發生;沒有信息,就什麼東西也無意義。這也正是信息的意義之所在。信息的意義可以支配甚至決定人們的生活、工作方式,指導作戰行動等等。

    信息技術是為實現獲取、傳輸、處理和運用信息以及進行信息對抗的所有技術的總稱。信息技術作為資訊時代的標誌是當今發展最為活躍的技術領域,正在衝擊著社會的各個方面,信息技術的發展正在昭示著一個「數位化」的全新世界。現代條件下,信息與計算機、通信等的融合而形成的資源,具有極大的靈活性,它與有限的物質和能量資源不同,可以說是取之不盡的。未來人類將在信息的汪洋大海中航行,信息科學成為高新技術的源泉,開創新的產業革命,即以信息性的勞動資料為核心的第五次產業革命。

    信息有兩個主要特徵。第一,只有變化著的事物或運動的客體才會有信息,靜止孤立的客體或永不改變的事物是不會有什麼信息的。如果報紙上總是重複刊登一條消息,那麼這條消息也就沒有什麼信息了;如果情報是重複,那也就是沒有信息的情報了。第二,只有尚未確定的事物才會有信息。如果是已確定的消息,那就是必然事物,不會有什麼信息的。一個事物或者一條消息出現的可能性越小,或者說概率越小,或者說內容越不確定,它所含有的信息量就越多;相反,信息量就少。例如,在百年奧運會歷史上,發生爆炸恐怖事物的可能性極小,但在第26屆美國的亞特蘭大奧運會進行到一周時,竟然發生了爆炸事件,這一消息駭人聽聞,信息量就很大;投擲一枚硬幣,可能出現兩種情況(不是正面就是反面),相對來說,出現正面或者反面的信息量就小。信息的概率概念十分重要,它可以定量地分析信息,這也是研究信息的本質所在。

    資訊理論的研究工作者認為,信息量的大小可用統計分子物理學中的函數「熵」或「負熵」來度量。

    「熵」是根據熱力學第二定律(有關過程進行方向的規律)確定的一個態函數,是區分可逆與不可逆過程的一個判據。1877年玻耳茲曼指出,孤立系統中,熵是分子無序的度量。並在統計物理學中證明,熵與熱力學機率存在著關係式:

    S=k*LN()……①

    ①式中的S表示狀態函數熵,K是玻耳茲曼常數,是某一宏觀狀態對應的微觀狀態數。玻耳茲曼公式揭示了表徵系統宏觀狀態的內在微觀機制,從而賦予了熵具體的含義:即系統宏觀狀態的混亂程度。也就是說,系統內所有微觀分布的綜合作用,規定和體現著系統的宏觀特性。信息熵表明信源的平均不確定度。

    熵的研究對象是「孤立系統」,但在現實世界中,孤立系統幾乎是不存在的,而自在的局域系統基本上都是開放的。那麼,「負熵」就是用來描述「開放系統」中的宏觀狀態的態函數。

    負熵的概念是量子力學的奠基人薛定鍔在轉到生命科學的研究領域以後,把生命系統作為與外界環境存在著物質、能量和信息交換的開放系統,來研究信息在生命系統宏觀狀態變化中的作用時,發現了與熵增加相反的演化方向——熵減過程。為了描述這種現象,提出了負熵的概念,並且藉助於玻耳茲曼統計公式給出了開放的概率信息系統的負熵的數學表達式:

    -S=K*LOG(1/D)……②

    ②式中的-S代表負熵,D為系統的無序度,正比於微觀狀態數,顯然②式與①式只差一個負號。薛定鍔把負熵定義為負值熵,並用負熵值的大小來度量和描述系統的有序程度,以用其來計算抵抗生命體內自發熵增並不斷生長發育所需要的能力——負熵,指出「生命賴負熵為生」。

    負熵也是熵,只是研究的角度不同而已。負熵的引入,不僅為生命科學的研究注入了活力,而且更能深刻地揭示信息的本質。

    現代資訊理論創始人申農認為,通信中的信息與熱力學的熵在本質上具有一致性,並給出了他的信息量計算公式為:E=λ*LOG(W)……③

    式中λ為常數,W是申農通信系統中信源為等概率事件時所輸出的某一組消息事件中包含的消息的數目。下面以電報傳遞信息為例來說明之:

    電報由點和劃組成,設有一個字長為L1=a1+b1的電碼,其中有a1個點,b1個劃,在收到電碼之前,對將傳來的信息毫無所知,其無知程度為N1=L1!/(a1!*b1!);如果連續收到兩個電碼,另一個相應有:N2=L2!/(a2!*b2!);這兩個字不同的組合起來,總的無知度為:N12=N1*N2。

    我們認為,收到一個電碼就得到一些信息,收到兩個電碼的信息量應相加,因此很自然地定義信息量為H12=C*LOG(N12),其中C為常數。

    此式可推廣到n個電碼,總的無知度為:

    N=N1*N2*…*Nn

    信息量為:H=γ*LOG(N)。可見此式與③式有相同的形式。(註:公式中「LOG」表示對數;「!」表示階乘;「*」表示乘號。)

    選擇適當的對數底數使①、③式中的k、λ相等,那麼兩個公式就完全等同了。我們知道,①式中的是熱力學中「孤立系統」的某一宏觀狀態所包含微觀狀態數目,而③式中的W是申農通信系統中信源所輸出的某一組消息事件中包含的消息數目。故從中我們可看出,申農的信息量公式③與玻耳茲曼的統計熵公式①是等價的。所以,馮·諾伊曼建議申農把他的公式叫信息熵(申農熵)。

    由申農熵與物理熵的等價原理可知,申農熵是通信系統中信源的宏觀特性(不確定性)的度量,它是由系統的微觀狀態機率所決定的。即從信源的角度看,在它沒有發送消息前,是個孤立系統,可能發出何種信息的不確定性最大,其信息量也最大,這與統計物理學中的「熵增加原理」也是一致的。

    正如薛定鍔把熵理論的研究從「孤立系統」推進到「開放系統」中去,用負熵來度量和描述系統的有序程度一樣,控制論的奠基人維納則從信息的控制與反饋的角度出發,研究信息對收信者(信宿)的作用,來度量信息量。他的研究表明,信息是對不確定的否定。即在「開放系統」中,信宿向信源開放,在信源的信息未發出之前,信宿的不確定性最大(初態熵也最大:Ho=Hmax),收到信源的信息後消除了不確定性(是必然事件,終態熵:Ht=0)。那麼,信宿所收到信源的信息量為:

    I=Ht-Ho=-Ho=-Hmax ……④

    結論是信息即負熵。

    可見,維納的「信息即負熵」與申農的「信息與熵等價」是一致的,它們統一於信息本身。

    值得指出的是,1956年布裡淵從觀察者(信宿)對於物理系統信息的獲取的角度出發,詳細論證了信息就是負熵,並定義了負熵原理,即:

    信息=熵的減少=負熵的增加

    從而深刻地揭示了信息、熵、負熵的內在統一性。

相關焦點

  • 2021年:用資訊理論武裝大腦,以負熵為生
    人們常說,讀萬卷書,行萬裡路,閱人無數,高人指路等,如果從資訊理論的角度來看,對其抽象,就是從不同途徑,通過不同的方式,攝取高質量的信息,讓自己在拿捏不定的關鍵時刻,猶豫不決的難捱夜晚,做出更加理性而平衡的選擇。
  • 為什麼薛丁格會說「生命以負熵為生」?熵和負熵到底是什麼意思?
    薛丁格的原話表述是:生命以負熵為生,或生命以負熵為食。接下來,我們對生命、熵、負熵以及宇宙這些玄而又玄的概念進行拆解。拆解完了,你也知道這句話到底是什麼意思了。可能比較燒腦,但不至於摸不著頭腦。既然「生命以負熵為生」,那我們也應該讓大腦多汲取一些負熵為食。先說生命,生命到底是什麼?
  • DEPCO:開啟負熵進化
    DEPCO:開啟負熵進化能量轉換會讓系統的混亂度增加,熵就是系統的混亂度。轉換的能量越大,創造出來的新狀態就會越多。高能量系統不如低能量系統穩定,不僅因為前者更容易發生能量轉換,還因為在轉化過程中會創造出更多的狀態(即更多的熵)。
  • 負熵,生的方向!
    叔本華說:人一出生就開始了死亡的進程。從剛出生時熵值最低到死亡時熵值最大,我們能做的只是在儘量的延緩這個進程,而人最終死亡的結果卻是無力改變的。如何延緩這個進程,或者說如何在死的方向上尋找生的機會,簡單的說就是要朝著死亡的反方向奔跑,即往「熵」的反方向,「負熵」的方向,奮力的跑。「負熵」是指從無序趨向於有序。
  • 智能運維項目引入的「負熵」衝擊波
    如何減緩「熵增」甚至觸發「負熵」衝擊波?量子物理學奠基人薛丁格曾對「熵」有過這樣的定義:「自然萬物都趨向從有序到無序,即熵值增加。而生命需要通過不斷抵消其生活中產生的正熵,使自己維持在一個穩定而低的熵水平上。生命以負熵為生。」
  • 生命以負熵為生
    「 生命以負熵為生」這一觀點,是奧地利物理學家薛丁格在《生命是什麼》一書中首先提出的。原話是:「生命就是不斷的對抗熵增定律,生命以負熵為生。」那什麼是「生命以負熵為生」呢? 我並不認為一個只有初中文化的我,可以把這個問題講得很清楚,但我還是很想談談我的理解。
  • 聰明男人徵服女人的方法:「造隱價」「有負熵」「說粗話」
    連嶽說:人需要聊天、擁抱,還有親吻和性愛,我們需要美好的、有溫度的關係。說起美好的、有溫度的關係,離不開男女之情。張愛玲說,女人的一生都在講男人、念男人、怨男人…。其實,男人彼此彼此,他們努力掙錢,也和女人有關。
  • 南哲思享 | 張一兵:人類紀的「熵」、「負熵」和「熵增...
    而當我們使用「器官」「外在有機性」的物性概念時,會不會使人們造成對「熵」「負熵」這種功能性建構的誤解?另外,我記得去年和您討論過「information」資訊理論的問題,實際上我認為「負熵」的核心就是「信息」,信息就在於建立一個有組織的過程。在馬克思那裡,後期已經將剛剛您提出的「外化」取而代之為「對象化」,以及剛剛提到的「使用價值、交換價值」,除此之外,馬克思提出了「生產力」「生產水平」。
  • 華為變革哲學:生命以負熵為生
    一個生命有機體在不斷產生熵,或者可以說在增加正熵,並逐漸趨近與最大熵的危險狀態,即死亡。要擺脫死亡,要活著,唯一的辦法就是從環境中不斷吸取負熵。一個生命體就是靠負熵為生,或者說,新陳代謝的本質就在於讓生命體成功消除了當它活著時不得不產生的全部的熵。 企業的負熵是為了抵消熵帶來的不穩定性和混亂性,從而維持企業管理的秩序與企業本身的存在和發展。
  • 液晶態,負熵與癌
    那麼,生命體中各層次「非周期性液晶結構」組成的複雜體系不但蘊含巨量的信息,還可以完成對物質流、信息流和能量流的有序組織,由此可以解釋生命所呈現的信號傳遞、應激反應、新陳代謝、組織發生等許多奇妙的現象。        生物體是一種遠離平衡態的耗散結構(dissipative structure),物理學採用「熵(entropy)」來描述系統的無序化或有序化程度,熵值減少就意味著系統的從外界輸入「負熵(negentropy)」可抵消系統的熵值增長,從而維持和發展系統的有序化。
  • 人活著就是在對抗熵增定律,生命以負熵為生...信息是不確定性的辨析度...
    薛丁格在《生命是什麼》中有句名言:人活著就是在對抗熵增定律,生命以負熵為生。
  • 「理通三迤」內耗窘境的手術刀:負熵
    在人類日常工作中,「三商」可以指代智商、情商和負熵。智商集中反映在認知、邏輯、表達、觀察、計算、律動、審查等能力上;情商體現在感受、理解、運用、描述、控制和調節自己情感上;熵是熱力學概念,其物理意義是體系混亂程度的度量,負熵指以前兩者為基礎,通過對所有關聯信息進行綜合研判,從而具有傾向性的完成耗散結構事務的處置。
  • 能量、熵、負熵、意志力、自制力、目標、計劃
    第三個層次是【能量-熵-負熵】的視角。第一個層次在於執行本身,但執行本身,不能自身驅動執行,因此處於最下面的一層。有時有清晰的目標、完美的計劃,卻不能被執行。因為執行是人去執行的。因為【目標-計劃】關注的是事、物、缺少對人的關。很多【目標-計劃】正是因為缺少對人的關注而流產。第二個層次是【意志力-自制力】的視角。
  • 和你侃:每月10元想定位誰定位誰 你怕不怕
    離開了股市,侃哥一身輕鬆,走路都有一種揚眉吐氣的感覺,但是看到一條新聞之後,立馬把侃哥嚇回來了。這條新聞的主要內容是說,山東省泰安市肥城市公安局破獲了一起侵犯公民個人信息案。  在這起案件中,犯罪嫌疑人除了大批量販賣個人信息外,還為「客戶」提供精準服務,進行「私人訂製」。
  • 薛丁格:有機體就是靠負熵為生的
    一個生命有機體在不斷地產生熵——或者可以說是在增加正熵——並逐漸趨向於最大熵的危險狀態,即死亡。要擺脫死亡,就是說要活著,唯一的辦法就是從環境中不斷地吸取負熵。我們馬上就會明白,負熵是十分積極的東西。有機體就是靠負熵為生的。
  • 這位82歲院士推崇的「負熵飲食」和「內臟運動」真的有利養生嗎?
    負熵飲食,注意中醫飲食精髓俞夢孫看來,現代人的飲食陋習太多,導致病從口入。他在多個場合推崇負熵飲食。俞夢孫解釋,簡單來說,負熵飲食就是多吃陽光直接照射的食物,大棚蔬菜、工業化養的豬及雞鴨等都不屬於負熵食品。俞夢孫說,現代營養只是注重糖、脂肪、蛋白質、維生素和微量元素等,沒有注意食物的四氣五味————這是中醫飲食的精髓。
  • 因為我們以負熵為食!
    要擺脫死亡,就是說要活著,唯一的辦法就是從環境中不斷汲取負熵,我們馬上就會明白負熵是十分積極的東西,有機體就是賴負熵為生的。」負熵是什麼?前面提到了,熵代表著能量的不可用程度,進而代表了混亂程度。那麼,負熵的正解自然應該是代表能量的可用程度,進而代表了有序程度。
  • 孩子總喜歡自己待著,家長別急著去幹擾:獨處的娃擁有負熵能力
    園長也說,依依的思想很獨立,同時她也很自信,並堅定自己的選擇,無論做什麼事,她總能怡然自得,園長誇她是高貴的一個女孩。家長們如果看到自己的孩子也如此特立獨行,只要不是非常內向,或者有社交恐懼症,就無需擔心。因為,心理學上有這麼一條科學道理——安靜的孩子往往更有力量。
  • 一個系統:開放-封閉、熵-負熵、熵增-熵減、熵死-負熵活!
    從外界其它系統獲取到的能量轉換成系統自身的結構,創造出系統負熵,維持著系統自身的秩序。熵對應的是負熵,熵增對應的是熵減,熵死對應的是負熵活!一個封閉系統,它的自然走向就是熵死,你啥都不用做,最後自然就是熵死了,但一個系統要實現負熵有序,實現負熵-活,就要從外界它處的系統不斷地獲取能量,並轉換成系統的結構,維持著系統的負熵有序。
  • 華為變革哲學:生命以負熵為生_詳細解讀_最新資訊_熱點事件_36氪
    一個生命有機體在不斷產生熵,或者可以說在增加正熵,並逐漸趨近與最大熵的危險狀態,即死亡。要擺脫死亡,要活著,唯一的辦法就是從環境中不斷吸取負熵。一個生命體就是靠負熵為生,或者說,新陳代謝的本質就在於讓生命體成功消除了當它活著時不得不產生的全部的熵。 企業的負熵是為了抵消熵帶來的不穩定性和混亂性,從而維持企業管理的秩序與企業本身的存在和發展。