馮·諾依曼的手稿《自複製自動機理論》，由人工智慧先驅 Arthur Burks 整理成書。集智俱樂部資深粉絲「東方和尚」將全書第一部分翻譯成中文，張江做了詳細點評。我們將其整理成「馮·諾依曼自動機器理論」系列文章，以饗讀者。本文是第四篇。
愛因斯坦說：「上帝不擲骰子」。然而，現代科學理論——從基礎物理到人工智慧越來越多地依賴於概率論。馮·諾依曼敏銳地發現，現實世界不存在絕對可靠的自動機，我們必須時刻準備好與大自然中的偶然性進行鬥爭，甚至利用這種不確定性來讓我們製造出的人工智慧更加可靠。然而，作為理解不確定性的基礎理論：概率論則從誕生以來一直處於一種「精神分裂」的狀態。在很多情況下，概率僅僅是我們內心世界的一種信念，而非我們熟悉的事件的發生頻率。不相信？那麼，請做做著名主持人Monty Hall給你留下的選擇題：
Monty Hall精心布置了三扇門，兩扇門背後都是羊，只有一扇門背後是個豪華跑車。下面，請你選擇哪個是跑車，選對了，你就可以把它開走。當你說出你的選擇後，他並不會立即揭露謎底，而是打開了另外一扇背後是羊的門，然後，他問出了那個經典的話：「你該堅持你的選擇嗎？」
注意，這個坑爹的電視娛樂節目曾經讓無數數理英雄「競折腰」哦。
全書綱要：
馮·諾依曼的遺產：尋找人工生命的理論根源
探尋計算的「原力」
神經網絡與圖靈機的複雜度博弈
第三堂課：人工智慧如何擲骰子
第四堂課：大數之道
第五堂課：複雜自動機的一些考量——關於層次與進化的問題
在翻譯過程中，做了以下的添加和修改：
1、為了方便閱讀，為原文進行了分段，並加上了段標題；
2、為了讓讀者感覺更親切，加上了若干副插圖。
3、為原文添加了大量的評論，東方和尚的評論和張江老師的評論都會標註出來，另外，因為這本書是馮·諾依曼的助手 Arthur W. Burks(遺傳算法之父 John Holland 的博士生導師)，所以在框中的文字是編者加的註解。大家要注意分辨。
自動機的魯棒性
到此，關於信息的嚴格問題討論已經告一段落，我們將繼續從統計角度來討論信息的本質。至少有兩個原因可以說明統計和概率問題對於自動機和其功能實現是十分重要的：第一個原因可能顯得有些任意且離題，雖然我並不這樣認為。第二個原因則更加重要，下面我分別加以說明。
第一個原因是：實際上我們無法設想一臺絕對可靠的自動機。假如你設計了一臺自動機，並且嚴格地定義了它在任何情景下的全部行為。那麼你一定忽略了問題的某些重要方面。如果你是一個新手，那麼設計一臺可以運行在完全確定環境下的自動機是一種很好的練習。但是只要稍具實際經驗，我們就會知道這一步還僅是問題的最初階段。
我們必須考慮統計因素的第二個原因是：如果你觀察一臺人造的，或者存在於自然界中的自動機，你會發現那些被嚴格程序所控制的僅僅是一些細節結構。大部分的控制是以一種允許錯誤，並且在錯誤發生時候採取補救措施（多少有效）的方式來實現的。而且，說它們能夠預防失誤還有些誇大，因為這種機制其實根本就不可能消除所有錯誤，而是實現了一種發生個別的失誤根本無關緊要的容錯狀態。在這種機制下，無論是錯誤還是失誤帶來的後果，都不能被徹底消除。我們可以努力去做到的事情，就是設計一臺自動機，讓它在遇到通常錯誤後仍然可以照常工作。這種設計的目的是減小錯誤的影響，而不是去消除錯誤。實際上，大多數常見自動機的構造和設計思想，都是屬於這類容錯型的。為了允許錯誤作為一種獨立的邏輯對象存在，我們不應該再以嚴格的方式表述公理，也就是說，公理不應該寫成：「如果 A 和 B 發生，C 就會發生」這樣的形式；而是「如果 A 和B 發生，一定的概率下 C 會發生，也有一定的概率 D 會發生等等」的形式。換句話說，每種給定情況下，都會有不同的結果，各自以不同的概率發生。從數學上說，我們可以簡單地寫出一個概率矩陣，說明各種狀態之間發生轉換的對應概率為何。你可以把問題寫成這樣「如果 A 和 B 已經發生，接下去發生 C 的概率有多大？」。這個概率矩陣就給出了一套以概率表示的邏輯系統。無論人工還是自然自動機，只要牽涉概率，都應該放到這個框架下研究，我接下來會談到為何遇到複雜系統時候，我們就必須放棄嚴格邏輯而改用概然邏輯系統的原因。
編者Arthur W. Burks註：
假如單個元件出故障的概率固定，那麼自動機越是複雜系統崩潰的可能性也越大。可參見馮·諾依曼的論文：《概然邏輯：用不可靠的組件構建可靠的組織（Probabilistic Logics and the Synthesis of Reliable Organs from Unreliable Components）》。
概率作為邏輯的擴展
上述原因使我們不得不把概率邏輯看作一般意義上的嚴格邏輯的一種擴展。這種把概率本身看作是邏輯的一種擴展的做法既非顯而易見，也不為科學界所廣泛接受，同時也遠離了對概率的主流解釋，但它卻正是概率的經典解釋之一。與此相對的是概率的頻率解釋，即認為邏輯本身是絕對嚴格的，但對一個我們不完全了解的現象，我們只能用出現頻率大小來描述之。
我認為，這兩種解釋的區別，至少在拉普拉斯看來，是十分清楚的，他曾指出存在兩種不同的方式來看待概率：頻率和邏輯方式【《A philosophical Essay on Probabilities》】。在近代，經濟學家凱恩斯也曾撰述概率方面的論文【《A Treatise on Probability》】，強調了兩者之間的區別，並以此作為他的理論基礎。凱恩斯相當詳細地分析了概率問題，並說明了除了傳統的頻率解釋以外，還可從邏輯的角度來解釋概率。但他並沒有試圖把嚴格邏輯和概率區分開來，僅僅提到，如果你觀察一個事件 A 和 B 的序列，這個序列可以用一個具體的量「B 緊跟著 A發生的概率」來刻畫。這裡同嚴格邏輯的唯一聯繫之處就是如果此概率等於 1，你可以說 A 導致 B 的蘊涵關係，如果概率是 0，那麼 A 的發生就排除了 B 的發生。但是，當這個概率接近 0 或者 1 的時候，你還是可以用一種模糊的方式進行推理[59]。
不可否認，邏輯分析的立場有其固有弊病，有時候，零概率事件明明在發生，否認其存在是很荒謬的[60]。同時，我們也不清楚在何種意義上，小概率事件表示我們可以認為這件事根本不會發生。儘管如此，凱恩斯還是提出了一種自洽的概率體系[61]。現代科學的其他研究， 如量子力學中的發現，使得我們很傾向於接受這種自洽式的概率定義，儘管概率的本質現在還遠遠沒有定論，而且可能長期得不到結論。無論如何，在量子力學中，我們傾向於改變傳統的邏輯定義，而把概率看成邏輯的內在組成。
編者Arthur W. Burks註：
在馮·諾依曼的著作《量子邏輯（嚴格的與概然的邏輯）》中，他做出結論：「概然邏輯是無法還原成嚴格邏輯的組合的，而應該被看成比後者本質上更廣義的系統，量子力學中的概率形式 P(a,b)=Ф(o<Ф<1)本身應該被看成自立自足的物理現實。所以看起來概率邏輯應該是嚴格邏輯的重要延伸。這個觀念，即所謂「邏輯概率論」構成了凱恩斯這方面的研究基礎。」可參閱馮·諾依曼和 Birkhoff 合著《The Logic of Quantum Mechanics》，以及馮·諾依曼同摩根斯坦合著的《博弈論和經濟行為》3.3.3 節
Jake 點評
這一章雖然比較短，但是它涵蓋的信息量卻非常大，實則橫跨了至少三個非常不同的學科。因此，閱讀這一章，也許你會覺得馮·諾依曼故弄玄虛、言之無物。然而，這一章的意義非同小可，因為它幾乎指明了複雜性科學未來幾十年的發展方向。就拿我自己的探索經歷來說，大概在 2004 年左右的時候，我就讀過了這一章，然而，當時的感覺就是頭暈眼花，不知所云。於是，把這本書撂到了一邊。有趣的是，大概 4 年的時間過去之後，偶然間讀到了 E.T.Jaynes 對統計物理的新見解，使我對熱力學、熵等概念發生了強烈的興趣。之後，當我再次翻看了馮·諾依曼的這一章節的時候，我眼睛一亮，馮·諾依曼早就指出了主觀概率、信息、熱力學等等之間的聯繫。又過去 2 年的時間，當我認識到要理解概率的本質必須要了解量子力學的時候，我又一次看到馮·諾依曼在這一章裡早就表達過此類觀點了。我已分不清 2004 年的閱讀是否已經潛移默化地被馮·諾依曼影響了；還是我的探索軌跡恰巧與馮·諾依曼的思路一致？總而言之，我與這一章從某種層面上說的確發生了共振，以至於我對這短小精湛的一章越來越喜歡了。下面，我將分別從概率、熱力學和資訊理論這三個層面綜述一下相對重要的文獻和進展。
文字 | John von Neumann
編輯 | 孔德淇