說明:本公號創號初期曾寫過這篇閱讀量過萬的文章,但限於當時未開通原創保護功能,故現在聲明原創後重新推送一次,請各位小夥伴們諒解啦。
魯道夫·卡爾曼
2016年7月2日凌晨,一代宗師卡爾曼與世長辭,享年86歲。
大師的一生
魯道夫·卡爾曼(Rudolf Kalman),1930年5月19日出生於匈牙利首都布達佩斯,父親是一位電氣工程師,後來跟隨父親的腳步,移居美國並在麻省理工學院獲得電氣工程學士和碩士學位。之後,他又離開了麻省理工學院,前往哥倫比亞大學繼續從事研究,並獲得了哥倫比亞大學博士學位。(也曾是少年)
年輕時候的卡爾曼
卡爾曼早期在麻省理工學院和哥倫比亞大學對控制系統充滿了興趣。他早期的研究主要是從實際問題出發,對狀態變量表示概念的研究,這種研究在數學上很先進。他曾表示,早期的研究方法非常個性化,卻在他後續輝煌的職業生涯中發揮了很大作用。
從1957到1958年,卡爾曼任職於紐約波基普西的IBM研究實驗室。在紐約那段時間裡,他對線性數據採樣控制系統採用二次型性能標準的設計和控制系統分析與設計的Lyapunov理論的運用方面做出了重大貢獻。當時,他已經預見到大規模數字計算機系統的重要性。
卡爾曼做講座
1958年,卡爾曼加入由已故的Solomon Lefschetz創辦的RIAS(the Research Institute for Advanced Study)研究所。剛開始,他是作為一個數學研究人員,後來晉升為副主任。正是在那段時間(1958-1964),他在現代控制理論方面做出了開拓性貢獻。他的演講和出版物反映了他的巨大創造力和控制理論方面研究工作。他在基本系統概念的研究,如可控性和可觀性方面,為一些重要的工程系統奠定了堅實的理論基礎。他統一了離散時間和連續時間情況下線性系統的理論和設計方面的二次標準。為引入Caratheodory到最優控制理論,他做出了很多貢獻,並闡明了Caratheodory、龐特裡亞金(Pontryagin)最大值原理和哈密爾頓-雅可比-Bellman方程之間的關係,以及一般的變分法。
他的研究不僅強調數學的一般性,還將數字計算機作為設計過程的組成部分和控制系統實現的組成部分進行綜合考慮。
在RIAS期間,卡爾曼做出了他一生中最著名的貢獻,也就是所謂的「卡爾曼濾波」。1958年底到1959年初期間,他在離散時間(採樣數據)問題方面取得了一些成果,並將早期的基礎工作應用在維納濾波、Kolmogorov、伯德、香農、普加喬夫和其他現代狀態空間方法上。他對離散問題的研究自然而然地將他引向連續時間問題,並於1960-1961年期間與R.S.布西共同提出了「連續時間Kalman濾波器」。
卡爾曼在第18屆國際自動控制聯合會上演講
卡爾曼濾波器以及後來拓展到非線性問題的其它濾波器,是現代控制理論的接觸代表,已被用於空間飛行器導航與控制(如阿波羅飛船)、雷達跟蹤彈道飛彈、過程控制算法與社會經濟系統。它的廣泛普及由於數字計算機被有效地用於設計階段和實施階段。從理論的角度來看,它是基於一個共同的過濾和控制概念以及這兩個問題之間的對偶性。
1964年,卡爾曼前往史丹福大學,在電氣工程,力學和運籌學部門從事研究。在這期間,他的研究成果轉向了與實現理論和代數系統理論相聯繫的基本問題。同事,也在一個基本領域開闢了新的研究途徑,這一貢獻在現代系統領域方面支撐並形成了一個新的研究領域。
1971年卡爾曼被聘任為佛羅裡達大學教授,並成為數學系統理論中心的主任,他的教育和研究活動涉及到電氣工程、工業工程和數學等部門。同時,他也擔任巴黎礦業學院研究中心的科學顧問。
卡爾曼不僅塑造了現代控制理論,也在促進其應用方面做出了貢獻。他的魅力人格和他在大學、會議和行業裡眾多的演講吸引了無數的研究人員,他的想法也影響了很多人,成為了國際學術思想交流的推動力量。
卡爾曼獲美國國家科學獎章
卡爾曼已發表超過五十篇技術文章,並有許多講座。在1962年的時候,他被馬裡蘭科學院評為年度傑出青年科學家,並於1964成為IEEE院士。他是許多專業團體的一員,為眾多期刊的編輯委員會服務。他是數學系統理論一書的合著者。他在1974年獲得IEEE榮譽獎章,以表彰他對「現代系統理論方法的開拓性貢獻,包括可控性、可觀測性、濾波器和代數結構。」2008年獲得查爾斯·斯塔克·德雷珀獎,該獎被譽為工程學界的諾貝爾獎。2009年獲美國國家科學獎章。
怎樣的歷史環境造就了大師
卡爾曼是一個數學家。數學家的想法就是和工程師不一樣。工程師腦子裡轉的第一個念頭就是「我怎麼控制這個系統?增益多少?控制器結構是什麼樣的?」數 學家想的卻是什麼解的存在性、唯一性之類虛頭八腦的東西。不過呢,這麼說數學家也不公平。好多時候,工程師憑想像和「實幹」,辛苦了半天,發現得出的結果完全不合情理,這時才想起那些「性」(不要想歪了啊,嘿嘿),原來那些存在性、唯一性什麼的還是有用的。
傅立葉,拉普拉斯等前輩在幾個世紀前的天才想像和推導,發明了信號處理的變換域分析技術,就在全球學術界和工業界已經形成通過變換域解決複雜問題的慣常路線時,維納和卡爾曼「膽大包天」反其道而行之,回到時域來觀測世界。維納濾波和卡爾曼濾波開創了現代信號處理的新視角,影響巨大。
1974年的卡爾曼
卡爾曼從數學上推導出不可控和不可觀的條件,從根本上解決了什麼時候才不是瞎耽誤工夫的問題。這是控制理論的一個重要裡程碑。
卡爾曼把數學上的線性變換和線性空間的理論搬到控制裡面,從此,搞控制的人有了工具,一個系統橫著看不順眼的話,可以豎著看,因為不管怎麼看,系統的本質是一樣的。但是不同的角度有不同的用處,有的角度設計控制器容易一點,有的角度分析系統的穩定性容易一點,諸如此類,在控制理論裡就叫這個那個「標準型」。這是控制理論的又一個裡程碑。
觀測狀態的目的最終還是控制。只用輸出的反饋叫輸出反饋,經典控制理論裡的反饋都可以歸到輸出反饋裡,但是用狀態進行反饋的就叫狀態反饋了。輸出反饋對常見系統已經很有效了,但狀態反饋要猛得多。你想想,一個系統的所有狀態都被牢牢地瞄住,所有狀態都乖乖地聽從調遣,那是何等的專業?臺商的大奶們的最高境界呀。
卡爾曼濾波器基本原理
卡爾曼濾波器基本原理圖
儘管學控制的人都要學現代控制理論,但大多數人記得卡爾曼還是因為那個卡爾曼濾波器(Kalman Filter),這種濾波方法以它的發明者魯道夫·卡爾曼的名字命名。
稱它為是濾波器,其實是一個狀態觀測器(state observer),用來從輸入和輸出「重構」系統的狀態。這重構聽著玄妙,其實不複雜。不是有系統的數學模型嗎?只要模型精確,給它和真實系統一樣的輸入,它不就乖乖地把系統狀態給計算出來了嗎?且慢:微分方程的解不光由微分方程本身決定,還有一個初始條件,要是初始條件不對,微分方程的解的形式是正確的,但是數值永遠差一拍。卡爾曼在系統模型的微分方程後再加了一個尾巴,把實際系統輸出和模型計算的理論輸出相比較,再乘上一個比例因子,形成一個實際上的狀態反饋,把狀態重構的偏差漸進地消除,解決了初始條件和其他的系統誤差問題。卡爾曼濾波器最精妙之處,在於卡爾曼推導出一個系統的方法,可以考慮進測量噪聲和系統本身的隨機噪聲,根據信噪比來決定上述比例因子的大小。這個構型其實不是卡爾曼的獨創,隆伯格(Luenburg)也得出了類似的結構,但是從系統穩定性角度出發,來決定比例因子。同樣的結構大量用於各種「預測-校正」模型結構,但不夠精確,也無法把林林總總的無法測量的幹擾因素統統包括進數學模型裡,這時用實驗室測定的真實值來定期校正,就可以結合數學模型及時的特點和實驗室結果精確的特點,滿足實時控制的要求,這或許可以算靜態的卡爾曼濾波器。
卡爾曼濾波器(Kalman Filter),一言以蔽之,就是對一種按照某種固定方式變化的系統,用最優的方法去估計這個系統中某個狀態的值。卡爾曼的貢獻,一方面是證明了他提出的方法是「最優」的,另一方面則是完善了一整套理論去分析這種「按照某種固定方式的系統」。這裡說的「按照某種固定方式的系統」,在飛機上,可以是飛機的速度、位置,也可以是飛機上某個零件的溫度、壓力;在機器人上,可以是一個小車的速度、位置,也可以是一個無人車周圍的障礙物;在金融上,可以是股票的走勢,也可以是某個公司的營收情況;在經濟學上,可以是整個經濟體的增長率,也可以是某種商品的進出口額。由於世界上很多變化的事物,都可以抽象成「按照某種固定方式的系統」,而且人們都有估計這些事物的「狀態」的需求,並且無數應用證明卡爾曼濾波器在這些情況下都是適用的,因此卡爾曼濾波器能夠滿足人們的需求。
卡爾曼和他的好基友們在美國佛羅裡達大學
能夠估計系統中某個狀態的值之後,那能幹的事情就多了。談論機器人的例子(EKF-SLAM)可能有點抽象,我們來說個金融的例子。如果我設計了一個Kalman Filter能夠估計股票的走勢,那麼我就可以提前判斷出股票明天是漲是跌,我可能判斷不了更久以後的情況,但是只多判斷一天,我也已經可以通過高頻交易的方式掙到錢了(我只是根據知乎網友的說法推斷一下,畢竟我不是做金融的)。此外,我們還能在很多學科和領域裡發現「狀態估計」的重要性。
卡爾曼在給出卡爾曼濾波器的算法之後,進一步孜孜不倦地圍繞卡爾曼濾波器完善了「線性系統估計」的一整套理論。我們前面提到的「按照某種固定方式的系統」,可以用包含矩陣、向量的微分方程來表示,也被叫做線性系統。卡爾曼給出了線性系統分析的方法,從而給現代控制理論的發展提供了非常堅實的數學基礎。
卡爾曼濾波器最早的應用還是在雷達上。所謂邊掃描邊跟蹤,就是用卡爾曼濾波器估計敵機的位置,再由雷達的間隙掃描結果來實際校正。實際應用中還有一個典型的問題:有時候,對同一個變量可以有好幾個測量值可用,比如有的比較直接但不精確,有的是間接的估算,有很大的滯後但精確度高,這時可以用卡爾曼濾波器把不同來源的數據按不同的信噪比加權 「整合」起來,也算是民用版的「傳感器融合」(sensor fusion)。
卡爾曼濾波的五個步驟
卡爾曼理論的歷史地位
除了卡爾曼濾波器外,卡爾曼的理論在實際中用得不多,但是卡爾曼的理論在理論上建立了一個出色的框架,對理解和研究控制問題有極大的作用。
順便說一句,卡爾曼的理論基本局限於線形系統,也就是說,十塊大洋買一袋米,二十塊大洋就買兩袋米,都是成比例的。實際系統中有很多非線性的,兩千塊大洋還能買兩百袋米,但兩千萬大洋就要看米倉有沒有貨了,市場漲不漲價了,不是錢越多,買的米越多,有一個非線性的問題。非線性的問題研究起來要複雜得多。實際系統還有其他特性,有的是所謂時變系統,像宇宙火箭,其質量隨時間和燃料的消耗而變,系統特性當然也就變了。很多問題都是多變量的,像汽車轉彎, 不光方向盤是一個輸入,油門和剎車也是輸入變量。但是,狀態空間的理論在數學表述上為線性、非線性、單變量、多變量、時變、時不變系統提供了一個統一的框 架,這是卡爾曼最大的貢獻。
搞控制有三撥人:電工出身的,化工出身的,和應用數學出身的。在卡爾曼之前,電工出身的佔主導地位,數學家們好在象牙塔裡打轉轉,化工出身則還對控制理論懵裡懵懂,還在「實幹」呢。卡爾曼之後,一大批數學出身的人,利用對數學工具的熟悉,轉攻控制理論。一時間,控制理論的數學化似乎成了「天下大勢,順我者昌,逆我者亡」了。在狀態空間的框架下,多變量沒有太多的問題好研究,於是最優化成為控制理論的新時尚。
有人說21世紀人類最偉大的發現是相對論和量子力學,然而我覺得21世紀人類最偉大的發現是1944年克勞德-香農提出的資訊理論,1948年諾伯特-維納提出的控制論,以及1960年魯道夫-卡爾曼提出的線性系統論,我把他們叫做系統控制技術三大理論。在《矽谷之謎》一書中,資訊理論和控制論還有管理學中的系統論構成了矽谷發展的奧秘。而對於飛機火箭和各種自動控制設備中,則是卡爾曼的線性系統論,連接了資訊理論和控制論。
Kalman被俄羅斯ITMO大學授予榮譽教授稱號
兩次世界大戰塑造了一個新的世界,也留下了很多待解決的工程問題、待細化的理論問題。飛得更快的飛機、打得更準的飛彈對信號處理、建模以及控制都提出了新的要求,這些要求驅使科學家和工程師們開發新的理論和技術,也促成了系統控制技術三大理論的發展。資訊理論、控制論和系統論把人類送上了月球,並在之後幾十年裡貢獻了新的傳感器、工業工具機和機器人、微機電系統等等。
一些有爭議的觀點和視角
卡爾曼像牛頓,站在了巨人的肩膀上(維納、香農等),完成了《系統、控制與濾波哲學的數學原理》。(香農的資訊理論是《通信、數據壓縮等哲學的數學原理》)。牛頓寫的是《自然哲學的數學原理》,研究的是自然(系統)的物理學。而卡爾曼、維納、香農等,研究的是人造系統的物理學。所以《系統、控制與濾波哲學的數學原理》也可叫《人造(系統)哲學的數學原理》。
卡爾曼
1.控制學者的分類。可參照理論物理學家與實驗物理學家的分類。理論控制學家即控制理論家,但實驗控制學家並不是指某一特殊領域的工程師,而是指通過實驗手段研究人造系統共性的控制學家。可參照下面幾條。
2.控制與數學的關係,與工程的關係。可參照物理學(如流體力學)與數學的關係,與工程的關係。物理不是數學,也不是工程,而是二者中間的一層,這點似乎世人都很明白。同樣的,應該說卡爾曼不是數學家,也不是工程師。但現實卻是,數學家認為卡爾曼做的是工程,工程師認為卡爾曼做的是數學:世人大都還未認識到這一層。
3.控制與其它工程學科的關係。物理學,如流體力學,並不需要依附於其所應用的某一特殊領域而存在。控制理論研究的是一切人造系統提煉出來的共性,並不需要依附於某一工程學科而存在。
4.控制的未來。十九世紀末、二十世紀初,大多物理學家認為,物理學的大廈(牛頓力學)已經成型,剩下的只是修修補補。開爾文說:「在物理學晴朗天空的遠處,還有兩朵小小的、令人不安的烏雲。」這兩朵烏雲,指的是當時物理學無法解釋的兩個實驗,一個是黑體輻射實驗,另一個是邁克耳孫-莫雷實驗。但這兩朵「小小的」烏雲,卻被證明是另幾片巨大天空的投影:相對論與量子力學。而且即使到現在,物理學的大廈是不是已經成型?是不是已經晴空萬裡?控制呢?大廈已經成型?有沒有烏雲?控制理論的相對論與量子力學會是什麼?控制、機器人領域的學科大廈是否已經蓋好?上面還有令人不安的烏雲嗎?如果把控制、機器人領域的現狀比喻成牛頓時代,那麼相對論、量子力學式的成果最可能出現在哪些方面?
關於這個問題,the bottom line is,未來不是可以完全預知的,只是可以在一定程度上預知,而且預測越遠不確定性越大。(這不是體現了卡爾曼濾波哲學嗎)一方面拭目以待,一方面事在人為。
卡爾曼在佛羅裡達大學授課
5.卡爾曼,乃至維納、香農等,已經完全有資格獲諾貝爾物理學獎。但此獎現在幾乎只頒給自然系統物理學家。不過其實這些年來這一界限有點淡化,如光纖和藍光 LED。另一方面,也許今後專門有個獎項,是關於人造系統的物理學。
6.控制在一定程度上追求的是truth,而且這 truth 往往只是適用於某個範圍。比如卡爾曼濾波,是線性高斯白噪聲系統的 truth。而同時,EKF、UKF 乃至 PF,arguably,還未達到 truth的level。這一點上,也可參照物理學。比如數量眾多的宇宙模型,可以說大部分是錯的,最終只有一個是(某個範圍內的) truth level 的,而且也不能證實只能等待證偽。
7.Control是否dead?這點見仁見智。結合以上4的話,答案是很難說,因為可能大廈已經成型,也可能有更廣闊的天空。結合以上6的話,則不能說很多理論不能用而就說控制已死(大多數理論不能用似乎是所有領域發展中的必經,直到找到那個 truth level 的)。首先理論各有自己的適用範圍,其次是各個範圍內真正truth level的理論只有一個。明確範圍,並在各個範圍內紛雜的理論中找到那個truth level的,才是正道。
8.控制學者是分層的。1中分為理論控制學家與實驗控制學家,可能並不合適和全面。但分層是存在的。比如Kalman是一層,做出 UKF、PF的是一層,做出 SLAM 的是一層,做出以上各種算法變型以避免數值問題或者減少運算量的又是一層。乃至應用的也分層。引入新框架的是一層,在現有框架下調參的是一層,靠經驗的是一層,甚至有的可在應用中做出發現反補理論,如此等等。而這分層,並不代表高低,而是定位。很多時候,明確這些很重要,比如各個研究group的傾向,乃至各個公司位置的要求。同樣是做理論研究,同樣是做工程應用,定位卻可能很不一樣。
9.有一種說法是,資訊理論第一代掌門是香農,第二代是Gallager,第三代是Tse。那如果說控制與濾波理論第一代掌門是維納,第二代是卡爾曼的話,誰是第三代掌門?
卡爾曼在學術會議現場
R.E. Kalman先生雖然去世了,但是世界上有不計其數的、以他名字命名的Kalman Filter在日夜不停地運行,作為穩定世界的控制器默默工作著。他的精神化為代碼,將永存在人類文明中。
His passing not only brought about personal loss but also a sad reminder of the passing of a golden era in systems and control.
他的離去帶來的不僅僅是個人的損失,還悲哀的標誌著系統與控制的黃金時代的逝去。
後卡爾曼時代
或許系統與控制的黃金時代還沒有到來。維納和卡爾曼身處的二戰後到人類登月前後的三十年時間,是系統與控制的地理大發現時代。線性系統作為一種世間萬物的抽象描述,蘊含了豐富的性質,其意義已經超過了自動控制技術本身,幾乎可以被稱作是物理了。以卡爾曼為首的前輩們,深入挖掘了線性系統的豐富性質,給我們揭示了自動控制系統背後的數學原理,其意義不亞於寫出《自然哲學的數學原理》的牛頓。
一代宗師卡爾曼榮獲美國國家科學獎章
牛頓運動學指導了人類文明近三百年之後,人類才第一次基於牛頓的理論設計出火箭、能夠探測引力和行星運動的衛星和深空探測器。而系統控制三大理論只誕生了半個世紀,我們尚未看到這些理論會給人類文明帶來多大的貢獻。火箭沒有隨著牛頓運動定律誕生,是因為人類沒有足夠的推進、燃燒、材料和通信技術。與此相似的,複雜高級的機器人沒有隨著系統控制理論誕生,也是因為人類還沒有足夠的材料、計算和傳感器技術。
我也毫不懷疑地相信,在未來的一百年中,在人類擁有了更多的技術之後,系統控制三大理論還會幫助人類造出更多的智能控制系統、機器人甚至是預測未來的機器。人類開始製造更複雜的機器人和智能系統的時候,系統與控制的黃金時代才會真正到來。
卡爾曼創立的線性系統理論,會被一代又一代的科學家和工程師們思考、研習、發展,很自豪我也是其中的一員。