Bear談無線通信|資訊理論與香農定理

2021-01-13 一隻神奇的Bear

在上一節中我簡述了無線通信的傳輸介質—電磁波。我本人也是從頻段開始逐步摸索通信的門檻的。在這一節中,我想更加深入的和大家探討無線通信的本質與極限。信息到底是什麼;在無限接近零誤碼率的情況下怎樣儘可能提高速率?

說到信息,你的第一反應會是?音訊、消息、通訊系統傳輸和處理的對象,泛指人類社會傳播的一切內容。還有修電腦?但對於通信來說,信息就是消除隨機不確定的東西。你可能會對於這個定義感到奇怪,不要緊。我說一個例子你就明白了。

假設你正在等待老師公布你的期中成績(太真實了)。先在辦公室偷看到成績單的同學A告訴你,我比你高。你又偷聽到B同學在背後說:切,他不就作文比我高了十分。其他的我跟她一模一樣。C同學說:你這次考得好好啊!比課代表還高了幾分。這時假設你對於A、B、課代表的平時成績是了解的。那麼,你就可以大致推算出你的成績排名區間,這個過程就是消除不確定性的過程。因此,你可以在老師通知你之前判斷到自己的成績。進而想好一套說辭去應付老師的質問。而假設在戰場上,你就贏得了主動權。當然,在這上面也存在著信息不對稱,有興趣的同學可以去了解一下檸檬市場和劣幣驅逐良幣。

但正是因為信息消除了不確定性,就給你帶來了「驚喜!」。因此,消除的不確定性越多,給你帶來的「驚喜」也就越大。這個信息對你而言也就越有價值。

但是,就像物理擴散作用一樣,信息有向著最大不確定性的方向發展的特性。假設你跟人玩骰子,你搖到6點的概率應該是越來越接近1/6。但假若在大量的搖擲後這個數字接近1/2。那麼就可以肯定有人在作弊。

我們在高中化學中學過熵這個概念,物體的熵總是朝著熵增的方向發展。氣體的熵大於液體大於固體。也就暗示了最終我們都將消散於空氣哈哈哈。信息也是一樣,它也有信息熵,隨著時間推移它也喜歡往大了跑。因此信息也可能會隨著時間而「變質」,也就有了Fake News一說了。

我們再用發電郵的方式來介紹一下信息系統。你是發件人(信源)發給收件人老媽(信宿)一封電郵祝她生日快樂。你可以使用中文寫「祝您生日快樂」電腦要將其轉換成機器碼識別,最後變成「0」和「1」進行發送。來使用同樣的信道網絡雙絞線進行傳輸。在這種情況下。提高系統性能的唯一途徑就是提高編解碼的效率。

「一般情況下,信息系統的主要性能指標是它的有效性和可靠性。有效性就是在系統中傳送儘可能多的信息;而可靠性是要求信宿收到的信息儘可能地與信源發出的信息一致,或者說失真儘可能小。最佳編解碼器就是要使系統最有效和最可靠。但是,可靠性和有效性往往是相互矛盾的。越有效常導致不可靠,反之也是如此。從定量意義上說,應使系統在規定的失真或基本無失真的條件下,傳送最大的信息率;或者在規定信息率的條件下,失真最小」

那麼,一切都明朗了起來。想要儘可能高效地傳輸數據。首先就要減少它的熵增(即減少不確定性,提高確定性信息的比率)。其次就要給它安排儘可能多的道路,防止信息在半路被堵。所以,香農定理就順理成章地蹦了出來。信道容量只取決於頻寬(BW)和信噪比(SINR)

終於,在抑了1100字後,本文的封面人物終於出現了!他就是香農,不僅跨時代的提出了信息的本質,更為而後各代移動通信傳輸速率的峰值蓋好了天花板。香農是那個時代的天才。雖然他沒有像愛因斯坦,霍金等理論物理學家那麼出名。但他的發現至今仍是通信界最為霸道的「天地法則」!

也正是如此,很多專業人士(還有我這個外行)對於5G是不看好的。5G無非是加上了至強的4G。在頻分復用,空分復用,時分復用都已逼近理論極限之時。往上面再加頻寬,再用波束賦形大規模MIMO提高信噪比的做法也就顯得有些拘束了。

如今通信的理論創新早已嚴重吃緊,香農定理的理論極限;電磁理論的傳輸介質;蜂窩小區的復用技術。讓無線通信這個不溫不火的行業在商業化和數位化的背景下前進了至少40年。但可悲的是,只要商業有需要。就可以繼續打造6G,7G乃至nG。但理論的創新依然屈指可數!

吃老本挺好,但家產也有敗空的那一天。因此,我們要更加堅定的支持進行大規模純基礎科學研究。等到香農定理被捅破的那一天,就是通信打破桎梏向更深更遠探索的開始!

我是一隻神奇的Bear,喜歡可以點讚關注哦!下一節蜂窩小區更精彩

文中英文單詞釋義:

MIMO:多入多出

BW:頻寬

SINR:信噪比

Fake News:假消息

相關焦點

  • 後香農時代信息產業發展面臨的十大挑戰數學問題
    在上月底結束的長沙「數學促進企業創新發展論壇」上,華為董事、戰略研究院院長徐文偉拋出了後香農時代信息產業發展面臨的了十大挑戰數學問題。 提到香農定理,通信領域的小夥伴應該是非常熟悉的了,可稱得上是該領域的「金科玉律」。1948 年,香農博士在《通信的數學原理》一書中提出了這一著名的定理。
  • 資訊理論之父——克勞德·香農 | 致敬先驅
    1940年,香農博士畢業後曾在普林斯頓高等研究院工作過一年,和馮·諾伊曼有過不少的交流。「熵」(entropy)是香農創立的資訊理論中最核心的概念,代表了一個系統的內在的混亂程度。香農本來打算用「不確定性」(uncertainty)來表達這個概念,當他和馮·諾伊曼討論這個問題時,馮·諾伊曼對香農建議說:「你應該把它稱之為『熵』。」
  • 誰是第一個研究信息的科學家?看資訊理論之父香農的偉大人生
    Shannon),我們現在尊稱他是資訊理論之父。貝爾實驗室總部話說1916年4月30日,香農出生了美國密西根州,跟所有的科學大師一樣,興趣都是從小就培養的,在中學時代,香農就可以造出一個可以在半英裡內無線通信的電報機。
  • 坤鵬論:香農說,信息是能夠用來消除不確定性的東西
    ——坤鵬論前兩天,我們充分討論了信息的特徵。今天,坤鵬論主要講幾個與資訊理論、信息熵相關的基本概念,如果沒有它們作為基礎,理解後面的內容會比較困難些。4.信道,用來傳輸信息的信號的通道,是信號的傳輸媒質,作用是傳輸信號。在實際通信中,信道就是傳輸的物理媒介,比如由明線、同軸電纜等固體介質所組成的有線信道,以及空氣介質所組成的無線信道、還有由混合介質所組成的光纖信道等。
  • 香農定律:新帝國的基石,資訊時代規則的制定者,5G幕後的大Boss
    1948年10月香農在《貝爾系統技術學報》發表了論文《A Mathematical Theory of Communication》(通信的數學理論),這是現代資訊理論研究的開端,文章系統論述了信息的定義,怎樣數量化信息,怎樣更好地對信息進行編碼。
  • 香農誕辰百年紀念特輯 | 香農說要有「熵」,資訊時代便由此開啟
    磕死磕說,在這個意義上,香農的發現像牛頓的引力定律一樣基本。言下之意就是,香農跟牛頓一樣牛,而牛頓比愛老伯牛,所以香農比愛老伯牛。那麼香農的資訊理論到底是個什麼東東呢? 簡單地說,資訊理論是個博大精深的應用數學分支。香農當年創建資訊理論的時候是為了探討信息的本質和通信的理論極限問題,比如什麼是信息,怎樣從數學上定義衡量信息,數據壓縮和數據傳輸可達到的極限在哪裡等等。
  • 克勞德·香農:看我如何發明未來
    【導讀】克勞德·艾爾伍德·香農,美國數學家、電子工程師和密碼學家,被譽為資訊理論的創始人。他發表了劃時代的論文——通信的數學原理,奠定了現代資訊理論的基礎。不僅如此,香農還被認為是數字計算機理論和數字電路設計理論的創始人。他不曾捧起過一座諾貝爾獎盃。他的名字也不曾如愛因斯坦、費曼般如雷貫耳,無論是生前死後。
  • 資訊理論創始人克勞德·香農:真正的天才是如何思考的?
    編者按:克勞德·香農(Claude Shannon),美國數學家、電子工程師和密碼學家,被譽為資訊理論的創始人。1948年,香農發表了劃時代的論文《通信的數學原理》,奠定了現代資訊理論的基礎。不僅如此,香農還被認為是數字計算機理論和數字電路設計理論的創始人,也為軍事領域的密碼分析, 包括密碼破譯和保密通信,做出了很大貢獻。
  • 「資訊理論之父」——克勞德·香農是如何創造未來的
    https://www.quantamagazine.org/how-claude-shannons-information-theory-invented-the-future-20201222/David Tse編譯:文龍科學是在尋求自然界的基本規律,數學是在原有定理的基礎上尋找新的定理,工程學是在構建解決人類需求的系統。
  • 無線通信中的那些專業術語(上篇)
    1、香農定理 類比:城市道路上的汽車的車速和什麼有關係?和道路的寬度有關係,和自己車的動力有關係,也其他幹擾因素有關係(如:車量的多少和紅燈的數量)。
  • 華為發布:後香農時代,面向數學的十大挑戰問題
    這些新的工作、生產模式、生活方式,與70年前香農時代發生了根本性的變化。 當初香農時代需要解決的是,面向人與人的可靠通信問題。香農資訊理論主要基於離散無記憶有損傳輸的假設,實現了點對點傳輸;通過信源編碼保證網絡傳輸的內容可以讓人理解,通過信道編碼保證傳輸的內容不會出錯。
  • 後香農時代,華為徐文偉提出面向數學的十大挑戰問題
    IT之家獲悉,華為徐文偉表示,過去 20 多年,數學在提升華為產品競爭力方面起了極大作用,我們非常願意與大家分享華為如何把工程問題轉變為數學問題的經驗,同時我們也將在本次大會,發布信息產業面臨的十大挑戰問題,張榜求賢,希望與數學家們攻克難題。我們一路走到現在的 5G 時代,幾乎達到了香農定理的極限。同樣馮諾依曼架構等,也都是幾十年前提出的。
  • 後香農時代,華為提出10大數學挑戰問題,你能看懂嗎?
    機器之心報導編輯:杜偉後香農時代的通信技術會如何發展?又有哪些值得業界關注的數學問題呢?在上月底結束的長沙「數學促進企業創新發展論壇」上,華為董事、戰略研究院院長徐文偉拋出了後香農時代信息產業發展面臨的了十大挑戰數學問題。提到香農定理,通信領域的小夥伴應該是非常熟悉的了,可稱得上是該領域的「金科玉律」。
  • 信息價值最大化:香農《資訊理論》的生活意義
    一段信息所包含的信息量不僅僅由信息的長短來決定,還決定於這信息克服了多少不確定性。克服的不確定性越大說明得到的信息越有價值。香農的《資訊理論》信息熵熵——物理上表示一個系統混亂的程度,物體越不穩定,熵越值大。而信息熵相似的表示信息中字符的不可預測程度,信息熵越大——可供選擇的範圍越廣,選擇的信息量就越大。這可以是好處,你可以得到更多內容。
  • 華為徐文偉:後香農時代,面向數學的十大挑戰問題
    這些新的工作、生產模式、生活方式,與70年前香農時代發生了根本性的變化。 當初香農時代需要解決的是,面向人與人的可靠通信問題。香農資訊理論主要基於離散無記憶有損傳輸的假設,實現了點對點傳輸;通過信源編碼保證網絡傳輸的內容可以讓人理解,通過信道編碼保證傳輸的內容不會出錯。
  • 香農定理 與 奈奎斯特定理 例題分析
    奈奎斯特定理與香農定理作為物理層為數不多、能出計算題的知識點,會時常被出題老師拿來小考一下。
  • 堪與E=mc²比肩的香農公式,5G背後的主宰
    雖然克勞德·香農沒有愛因斯坦那般赫赫有名,卻也是享譽一時的偉大人物。    在科學的世界,始終流傳著各種有關香農的傳說,人們稱他為「資訊理論之父」和「數字通信時代的奠基人」。這一切都源於他1948年親手所繪的那一幅「數字時代的藍圖」——《通信的數學原理》。
  • 香農,帥又有才的科學家
    今年是資訊理論的創始人香農(C. E. Shannon,1916-2018)誕辰102周年。他於1948年發表了著名的文章「通信的數學理論」(A Mathematical Theory of Communication)創建了資訊時代的理論基礎——資訊理論。香農因而被稱為「資訊理論之父」。
  • 信息熵是怎樣煉成的 | 紀念資訊理論之父香農
    撰文 | 丁玖(南密西西比大學數學教授)紀念"資訊理論之父"香農的最好方式,莫過於重溫一下他怎樣定義信息熵的數學思想,去理解現代資訊理論這個基本概念——僅用初等代數即可推導,令人賞心悅目,流連忘返!確定性過程在數學裡是司空見慣的現象。
  • 天才VS頑童,帶你走近克勞德·香農
    提到香農最先湧入腦海的是什麼?香農韋弗數學傳播模式資訊理論和人工智慧的奠基人《通信的數學理論》眾所周知,瓦特改良了蒸汽機,人類進入了「蒸汽時代;麥克斯韋提出的電磁理論,則讓人類從蒸汽時代跨越到了電氣時代。而第三次信息革命,則是香農提出的香農定律吹響了變革的號角。縱觀香農的人生該怎麼給他下一個定義呢?