專訪港科大教授張曉泉:AI目前多做預測分類,還需經濟學發現因果關係

2020-12-06 雷鋒網

「人機迴圈」(Human in the loop)是人工智慧圈的高頻詞彙。簡單地說,就是將個人(專家)或公眾群體的判斷,融入AI系統的優化中去。這個閉環迴路在AlphaGo上展現得淋漓盡致,它之所以能橫掃AI和人類對手,與背後包括歐洲圍棋冠軍樊麾在內的專業棋手團的磋磨分不開。

「在這個過程中,人類其實是在陪機器下棋,機器在逐漸獲得人類的知識技能。人類相當於labor,很被動。」

在近期由中國計算機學會(CCF)主辦,雷鋒網和香港中文大學(深圳)承辦的第二屆CCF-GAIR全球人工智慧與機器人峰會上,張曉泉教授分享了這番觀點。

張曉泉現任香港科技大學資訊、商業統計及運營學系教授,此前求學於美國麻省理工學院、清華大學,分別獲得管理學博士和管理學碩士學位。他目前的主要研究方向是商業人工智慧、網際網路金融、信息產品定價策略及大數據營銷。學術論文曾發表在《美國經濟評論》、《管理科學》等知名學術期刊。目前他還是學術期刊 Information Systems Research(信息系統研究)的高級主編。

人工智慧是近年來的明星技術,各行業都紛紛對其敞開懷抱。其中,金融行業對於AI的研究和應用無疑走在前列。作為一位經濟學家,張曉泉教授對於人工智慧也頗有見地。立足於其研究視角,他指出,經濟學有助於優化AI在金融領域的應用。他進一步解釋說,

「目前人工智慧更多是用於預測和分類,而經濟學家的研究重心是找到因果關係,解釋清楚事情的底層機制。這也是計算機學家與經濟學家看待科技創新的一大差異。」

雙方視角之差,猶如地心說與進化論的不同。地心說能夠預測太陽明天會升起,但卻無法解釋背後的原理,因為理論根本是錯誤的。進化論卻相反,它能解釋人的由來和進化史,卻無法預測人類未來會是什麼樣。張曉泉教授認為,行業如今的首要目標就是結合兩種研究思維,這也是他目前的研究目標。

「除了『Human in the loop』,我覺得應該也有『Econ in the loop』。過去20年,經濟學家建立了眾多數據分析模型,包括整套的計量經濟分析框架。若能將這些模型與人工智慧相結合,會產生很多有趣的結果。」

Fintech前沿研究

股票情感分析

在股票投資領域,高賣低買一向是投資者的夢寐之求,但絕大多數情況只是黃粱美夢而已。雖然人們無法準確預測股價,但在不斷向這個目標靠近。據了解,上世紀70年代,投資領域就開始廣泛應用計算機。世界最大的兩家資產管理公司黑石與領航都是完全採用量化投資方式。而近年來網際網路、移動網際網路、雲計算、大數據、人工智慧等技術的發展,為股票投資帶來了更多新可能。

張曉泉教授就有不少圍繞股票開展的研究課題。與人工智慧相關的一個項目是利用深度學習進行股票情感分析。他的團隊利用工具爬蟲,全網抓取新聞媒體、散戶論壇、微博等文本信息,收集後將其與該公司的金融信息做對比,建立一個模型。

據張曉泉教授介紹,該模型與其他模型的不同之處在於,其他模型從語義分析出發,僅是收集匯總文本含義。而他們的重點是,會進一步獲取詞彙與股票表現之間的關係,發現每個詞在當時起到了什麼作用。那麼在未來,模型可以進行一些簡單預測,發現眾人的關注焦點,以及宏觀層面的行業輪動。

模糊性研究

高風險、高收益是金融行業的永恆標籤,股票投資也與風險息息相關。股票市場的傳統風控就是研究股票波動率。業內存在一種觀點是,可以用人工智慧解決所有的風險管理問題。而張曉泉教授對雷鋒網(公眾號:雷鋒網)表示,該觀點是錯誤的。

「 風險有多種層次,而且一旦寫出波動率,底層就一定假設了某種概率分布,但是很多時候,我們無法獲知金融事件的概率分布。例如股票市場。」

 

圖1 風險五級別

這裡需要先介紹下張教授提出的不確定性的五個級別。

  • 第一層是 Certainty,意味著 100% 會實現。

  • 第二層是 Risk ,即有概率會發生。世界上的大部分問題都處在這個級別,但股票市場就不屬於。

  • 第三層是 Black Swan 黑天鵝,也就是小概率事件。

  • 第四層是 Ambiguity 模糊性。「明天的股市不是漲就是跌,但是漲跌的比重沒人知道。即便我們有過去世界所有股市的數據,但仍不知道明天是漲還是跌,因為有太多影響因素。」

  • 第五層是 Radical Uncertainty,「 人們不能描述出 Radica Uncertainty ,也完全無法解決這個級別問題。就好像人無法寫一個模型來預測恐怖襲擊會在何時、何地、如何發生一樣」。

張曉泉教授表示,模糊性是一個比較前沿的研究,結合「Risk」有助於人們加深對風險的理解。舉個例子,下圖是美國股市從1968年到2016年的波動率,即股票市場的風險「Risk"。

圖2 1968—2016年美國股市風險

如果用傳統的方法——標準差去描述,看到幾個現象:第一風險高點出現在1987年10月19日美國股災。第二個高峰出現2002年,當時正值網際網路泡沫破裂。再往後2007、2008年次貸危機攀上新高峰。

「最近我和同事在做模糊性預測模型,我們發現模糊性最高的是1987年股災,而2002年科技泡沫時期的模糊性並沒有那麼高。我們得出的結論是,2002年的網際網路泡沫不是一個真正的大泡沫,背後蘊含著技術對於未來的影響力。」

他總結說,經濟學的願景就是希望用模糊性去描述「Risk」沒法解決的問題,他們為市場提供了模糊性新指標來衡量股票風險。

從研究到應用,兩大跨界趨勢

學術研究的目標在於找尋新風景,接下來的產業應用則會偏重於實地探測,挖掘金礦。除了學術經歷,張曉泉教授此前也從事過投行分析師、科技公司國際市場部經理等職,還創辦過一家網際網路企業。他表示,從研究到應用過程中,存在兩大跨界趨勢。

學術界與產業界交融

第一,學術界和產業界融合愈加緊密。五到十年前,只有科研機構的實驗室進行著超前研究,業界相去甚遠。AI曾經是一個不被人重視的子領域,Geoffrey Hinton神經網絡提出了30多年一直無人問津,但這一切在近五年發生了變化。現在業界的研究已經非常接近科研人員課題,雙方互通有無,交流頻繁。

此外還出現了頂尖科學家投身產業界的趨勢。比如,2013年,人工智慧界兩位泰鬥多倫多大學計算機系教授Geoffrey Hinton、紐約大學終身教授YannLeCun分別加入了Google和Facebook;今年,斯坦福人工智慧實驗室負責人李飛飛教授兼任谷歌雲首席科學家,倫敦大學學院計算機系汪軍教授與阿里巴巴合作研發出了多智能雙向協作網絡等。

「我認為導致變化的主要原因是當時大數據尚未普及,計算能力不夠。如今展現了一個非常好的趨勢,科學家可能會在公司中任職,或者自己創業,這樣能使得一些新的研究成果立刻付諸實踐。另外,學術研究人員通常會擁有一種更長遠、改變行業規則的心態,這能中和企業短期追求。」

張曉泉教授評價道。

「與此同時,也解決了學術圈長久以來存在的最大問題——資源有限,如數據資源有限,配備設施有限。此外,因為研究發現和實際應用有著一定的距離,落地流程比較繁瑣,很多手握專利的教授可能不願一步一步完成這個過程。而企業的出發點是商業化,只要有利於盈利,它們就會為研究提供資源。這樣就形成了良性循環。」

當然,在雙方合作落地的過程還存在一些問題,趙曉泉教授指出,其中一大基礎矛盾就是學術界和產業界追求存在差異。科學家致力於最前沿的突破,研究如何將準確率95%提升到96%等問題。而企業追求解決問題,產生效用。提升1%,算法速度提升一秒等發現對於他們來說,意義可能並不是那麼重大。當絕對值很小的時候,頂尖的研究對於行業的影響較微弱。這要求著學術界、產業界更進一步的溝通理解。

金融與科技的跨界合作

第二個趨勢是,金融界與科技界的跨界合作正在接連上演。幾乎任何一家金融機構都會設立金融科技部門,很多科技公司也開始涉足金融業務,「Fin」與「Tech」的合流之勢不斷明朗。

例如,今年六月,國內銀行扎堆宣布與科技巨頭聯姻。當時,張曉泉教授就對雷鋒網表達了他的看法,

「公司的存在就是為了提高效率,技術(包括商業大數據、AI)也是為了讓工作更有效率,因此這樣的合作更早的時候就可以開始了。未來的公司都不需要打標籤,沒有技術和金融之分,只是用技術來解決各行業的問題。」

與學術界與產業界需增進了解相同,fintech的發展也要求著「銀行家」與「工程師」擴大交集。尤其是作為一門應用科學的股票投資。張曉泉教授舉例道,一些AI專家寫出的預測股票模型在實驗室環境下準確率能達到80%,但是由於缺乏對金融市場的理解,真正下場的表現慘不忍睹。他的團隊也有做相關預測模型,準確率在75%左右,實際表現也很穩定。

而隨著近年來fintech行業的成熟,科技開始觸碰到金融真正的核心。一些新技術及產品如雨後春筍湧現,其中以區塊鏈、智能投顧最引人注目。

在張曉泉教授看來,目前智能投顧行業最大的問題是太擁擠了,門檻不高,從業者甚多。

「這個市場發展到最後應該是一家獨大。現在的智能投顧仍處於跑馬圈地階段,類似於早期網際網路時代出現了數不勝數的搜尋引擎。當時沒人知道哪家會贏,現在也是如此。」

至於區塊鏈,他表達了對其前景的看好。雖然如今還處於早期階段,業界還在解決一些最基本的技術問題。同時,他也指出,區塊鏈最大的挑戰在於沒有形成一個很好的商業模式。技術人才缺乏商業認知,有商業背景的人缺乏對於技術的深刻理解。

隨著新技術的發展滲透,難免會對行業以及整個社會造成衝擊。其中,面對AI對於金融行業的影響,監管是個始終繞不過去的話題。張曉泉教授在最後也談到了這方面的觀點。

「新技術及相關產業的發展猶如大浪淘沙,在推動行業從業者嘗試,磨合出商業模式的同時,還會對傳統社會的理念、機製造成改變,比如法律法規。過去的土地所有制在飛機出現後就不再適用,不然每一次飛行都侵犯了所有者的權利。這說明,當技術導致大環境變化時,法律法規需要進行進行調整。」

雷鋒網原創文章,未經授權禁止轉載。詳情見轉載須知。

相關焦點

  • 港科大張曉泉教授演講全文:經濟學如何優化AI在金融領域的應用? |...
    是美國知名華人社區 MITBBS 創始人,Information Systems Research (信息系統研究)的高級主編,同時還身兼招商證券、中國移動、華為、香港數碼港、阿里巴巴旗下湖畔大學等公司和機構的高級顧問。在本次演講中,張曉泉教授從AI 需要金融、金融與 AI 相互融合、決策問題等三個方向向與會觀眾介紹了AI在金融領域的創新與應用。
  • 港科大教授張曉泉:經濟學家眼中的金融科技創新
    擅長用經濟學的方法研究大數據的產生、傳播和處理,包括信息產品的定價策略、大數據營銷、商業人工智慧以及網際網路金融等。張曉泉是美國知名華人社區 MITBBS 創始人,Information Systems Research (信息系統研究)的高級主編,同時還身兼招商證券、中國移動、華為、香港數碼港、阿里巴巴旗下湖畔大學等公司和機構的高級顧問。
  • 元聚帆茂捐贈並冠名港科大兩位教授!
    元聚帆茂捐贈並冠名港科大兩位教授!) 8月10日,香港科技大學第五屆冠名教授席就職典禮在線上舉行。帆茂投資董事長、元聚資本董事長黃立偉先生向母校香港科技大學捐款,並設立「黃立偉商學教授席」。
  • 哈佛大學Hernan教授《因果推斷:What If》新書,311頁講解因果效應(附下載)
    Inference: What If》,總共分3個部分,22章,311多頁,對因果推理的概念和方法做了系統性闡述,是各個領域包括經濟學、健康醫療、心理學、計算機等從業人士的重要參鑑材料。harvard.edu/miguel-hernan/causal-inference-book/在本書中,我們強調需要足夠認真對待因果問題,才能明確表述它,我們還區別了數據和因果推斷假設的不同作用。一旦建立了這些基礎,因果推斷就必然變得不那麼隨意,這有助於防止混淆。
  • 光速執行AI運算,港科大雙層全光學神經網絡不要計算機也能做分類
    港科大的研究團隊提出了一種全光學神經網絡,所有線性變換、激活函數通過光學模塊就能實現。圖源:鵬城實驗室 Olivia Wang在處理模式識別、風險管理以及其他同樣複雜的任務時,最強大的計算機都無法與人腦匹敵。但是,近來光學神經網絡取得的進展通過模擬人腦中神經元的反應方式縮小了計算機與人腦之間的差距。
  • 港科大(廣州)預計2022年開學
    記者從會上獲悉,香港科技大學(廣州)(以下簡稱「港科大(廣州)」)去年9月獲教育部批准籌建,今年7月新校園已完成平整,即將進入大規模建設階段,建設團隊已入駐集中辦公,新校園的校長也正在全球公開招聘,未來5年內還將在全球招聘400名博士後、研究助理教授,800名行政崗位職員。港科大還在清水灣校園連續3年開展「先導計劃」,試行廣州校園課程,目前共招收約260名研究生。
  • 《原因與結果的經濟學》:學會因果邏輯推理,做複雜世界的明白人
    這裡面包含了我們最熟悉的因果關係,就是因為什麼什麼,所以什麼什麼。但是在「破窗理論」裡,這些因果關係真的成立麼?我們該如何判斷諸如此類模稜兩可的因果關係的真偽呢?這裡推薦一本書---《原因與結果的經濟學》,只要你能掌握裡面的「因果邏輯推理」方法,就能輕鬆判定生活裡那些表面上看似很有道理,實則毫無關係的因果邏輯了。
  • 相關不等於因果,深度學習讓AI問出「十萬個為什麼」
    編譯:張大筆茹  生活經驗告訴我們,相關關係並不能直接推導出因果關係,但不管是日常生活還是學術研究,對於因果關係的解釋要遠比相關關係重要得多。如果幾個因素都可以預測產品偏好,那企業應該選擇哪些因素以及如何確定其重要性順序呢?簡單地將不同變量按強度排列與獨立選擇一些因素並單獨評估其對預測結果的貢獻程度的結果是不同的。  「我們可以觀察相關性,但並不能證明甚至解釋因果關係,」莫漢蒂說。因果關係回答的是「我應該採取什麼行動才能實現改變?」或「如果我改變模型的一些基本假設會怎樣?」
  • 計量經濟學助力公共政策優化
    圍繞計量經濟學與公共政策的相關話題,記者採訪了多位該領域學者。  提高科學決策水平  廈門大學王亞南經濟研究院教授方穎表示,計量經濟學是以經濟學和統計學為主要基礎,以社會經濟數據為主要研究對象,以識別社會經濟發展規律和因果關係為主要目的,綜合使用經濟學分析工具以及數學、統計學、信息科學和數據科學等技術手段的一門交叉學科
  • 從「相關關係與因果關係」到「用事實解釋事實」的錯誤
    如A推出B、C,則B與C之間存在著相關關係,但不是因果關係。  這麼說很抽象,以下舉具體的例子來示範。我們觀察到以下的現象:小孩喜歡吃糖,統計發現吃糖吃得多的小孩患上蛀牙的機率比少吃糖的要高。對於這個現象,西醫與中醫有不同的解釋,從而形成不同的治療方案。西醫認為,糖會蛀牙,即糖是蛀牙的因,二者是因果關係。據此提出的治療方案是要求家長不讓小孩多吃糖。
  • 港科大(廣州)首次公布辦學細節,5年全球招聘400名教師
    10月29日,香港科技大學(以下簡稱港科大)舉行媒體簡報會,由港科大校長史維教授、首席副校長倪明選教授、副校長(研究及發展)葉玉如教授、KPF執行總監鄭逸雅等介紹廣州校園最新進展。自去年9月獲國家教育部批准籌建以來,港科大(廣州)在學科規劃、組織架構及校園設計方面等均取得積極進展。新校園今年7月已完成平整,部分建設團隊已入駐辦公,而新校園的校長亦正進行全球公開招聘。
  • 因果推理「三問」:是什麼?為什麼需要?如何使用?|內生性|因果關係|...
    譯者:AI研習社(聽風1996)  作為一名經濟學博士,我致力於尋找某些變量之間的因果關係,用來完成我的論文。因果關係強大到可以讓人們有足夠的信心去做決策、防止損失、求解最優解等。在本文中,我將討論什麼是因果關係,為什麼需要發現因果關係,以及進行因果推理的常用技巧。  1. 什麼是因果關係?
  • 港科大經濟學碩士(HKUST.MSc in Economics)介紹及校友就讀體驗
    我們之前有很多師兄師姐來分享過有投資管理的,有會計的,有國際管理的(相關閱讀《港科會計與投資管理》、《港科國際管理》)這次給大家帶來港科經濟學的校友反饋學生背景H師姐本科 | 中山大學,經濟學在畢達幫助下,成功入讀2018年秋香港科技大學經濟學碩士(MSc in Economics)。
  • 港科大(廣州)擬全部跨學科,將設這些前沿研究領域
    10月29日,香港科技大學舉行媒體簡報會,由港科大校長史維教授、及廣州校園首席設計師顧問國際知名建築事務所KPF代表介紹廣州校園最新進展。港科大還在清水灣校園連續3年開展「先導計劃」,試行廣州校園課程,目前共招收約260名研究生。新一年(2021-2022學年)招生正在報名進行中。預計2022年9月1日正式開學。 港科大校長史維教授表示,港科大教學未來將著眼於培養跨學科人才。港科大(廣州)位於廣州南沙,毗鄰廣深港高鐵慶盛站,距離香港西九龍高鐵站只需30分鐘,首階段將培養4000名研究生,計劃於2022年9月正式開學。
  • 看因果深度學習如何教AI人工智慧去問為什麼
    生活經驗告訴我們,相關關係並不能直接推導出因果關係,但不管是日常生活還是學術研究,對於因果關係的解釋要遠比相關關係重要得多。很多時候,我們也會對事件之間的因果關係捉襟見肘。如果,把這個過程交給AI來處理會怎樣呢?AI可以利用深度學習技術來構建相關關係模型。深度學習技術通過關聯數據點在構建模型方面做得很好。
  • 從哲學上看,因果關係為什麼很難確定?
    專業領域裡,因果關係的判斷也一樣重要。在醫學上,因果關係可以幫助我們判斷應該要採取怎麼樣的醫療行為,「如果對病人施打抗生素,可以治療他的肺炎,因為肺炎源於細菌感染,而抗生素可以治療細菌感染。」在科學上,因果關係的判斷可以幫助我們預測世界:「如果氣壓下降,那表示即將下雨了,因為在低氣壓區,周圍空氣的流入會迫使空氣逐漸上升,遇到高空低溫時凝結成水滴,達到一定程度則落下成雨。」
  • 因果發現:如何讓算法成為複雜系統中的「福爾摩斯」?
    例如某人聲稱窮人吸菸多,而窮人患肺癌的比例更高,而這意味著「吸菸多的人患肺癌多」不能支持「吸菸引起肺癌」,這就是一個已知的因果鏈條。然而真實世界中,類似的因果鏈條,往往並不是先驗知識。尋找因果關係,傳統的方法是通過隨機對照實驗。但是這種實驗方式在實際問題中可能涉及到一些倫理問題,並且通常需要花費大量的人力和物力。
  • 二零一零年度諾貝爾經濟學獎得主Christopher Pissarides教授於...
    二零一零年度諾貝爾經濟學獎得主Christopher Pissarides教授將於二零一一年三月二十一日(星期一)擔任論壇的客席演講嘉賓。Pissarides教授將於論壇上就 「Equilibrium in the Labour Market with Search Frictions」 進行演講,討論其與麻省理工學院的Peter Diamond教授及西北大學的Dale Mortensen教授共同獲得二零一零年度諾貝爾獎的研究。演講後,Pissarides教授將與科大校長陳繁昌教授對話並分享其見解。