盤點金融領域裡常用的深度學習模型

2021-01-11 36氪

作者 | Sonam Srivastava ,譯者 | sambodhi ,編輯 | Vincent ,AI前線出品| ID:ai-front

在今天我們發布的這篇文章中,作者 Sonam Srivastava 介紹了金融中的三種深度學習用例及這些模型優劣的證據。

我們跟隨 Sonam Srivastava 的分析,並展望深度學習在金融領域的運用前景。雖然金融是計算密集型最多的領域,但廣泛使用的金融模型:監督和無監督模型、基於狀態的模型、計量經濟學模型甚至隨機模型都受到過度擬合和啟發式問題帶來的影響,抽樣結果很差。因為金融生態圈異常複雜,其非線性充斥著大量的相互影響的因素。

要解決這個問題,如果我們考慮到深度學習在圖像識別、語音識別或情感分析方面所做的研究,我們就會看到這些模型能夠從大規模未標記數據中學習,形成非線性關係的遞歸結構,可以輕鬆予以調整以避免發生過度擬合。

如果金融生態圈能夠使用這些網絡進行建模,應用領域就會深遠而廣泛。這些模型可用於定價、投資組合構建、風險管理甚至高頻交易等領域,讓我們來解決這些問題。

收益預測

以預測每日黃金價格的抽樣問題為例,我們首先看看傳統的方法。

ARIMA 模型

ARIMA 模型(Autoregressive Integrated Moving Average model),差分整合移動平均自回歸模型,又稱整合移動平均自回歸模型(移動也可稱作滑動),時間序列預測分析方法之一。ARIMA(p,d,q)中,AR 是「自回歸」,p 為自回歸項數;MA 為「滑動平均」,q 為滑動平均項數,d 為使之成為平穩序列所做的差分次數(階數)。「差分」一詞雖未出現在 ARIMA 的英文名稱中,卻是關鍵步驟。

ARIMA 模型的基本思想是:將預測對象隨時間推移而形成的數據序列視為一個隨機序列,用一定的數學模型來近似描述這個序列。這個模型一旦被識別後就可以從時間序列的過去值及現在值來預測未來值。現代統計方法、計量經濟模型在某種程度上已經能夠幫助企業對未來進行預測。利用整合移動平均自回歸模型,來嘗試預測季節性平穩時間序列,我們得到結果如下圖所示:

VAR 模型

VAR 模型,(Vector Autoregression model)向量自回歸模型,是一種常用的計量經濟模型,由計量經濟學家和宏觀經濟學家 Christopher Sims 提出。它擴充了只能使用一個變量的自回歸模型(簡稱:AR 模型),使容納大於 1 個變量,因此經常用在多變量時間序列模型的分析上。

如果我們將相關的預測變量添加到我們的自回歸模型中並移動到向量自回歸模型,我們得到結果如下圖所示:

深度回歸模型

如果在數據上使用簡單的深度回歸模型,使用相同的輸入,會得到更好的結果,如下圖所示:

卷積神經網絡

卷積神經網絡(Convolutional Neural Network, CNN)是一種前饋神經網絡,它的人工神經元可以響應一部分覆蓋範圍內的周圍單元,對於大型圖像處理有出色表現。

卷積神經網絡由一個或多個卷積層和頂端的全連通層(對應經典的神經網絡)組成,同時也包括關聯權重和池化層(pooling layer)。這一結構使得卷積神經網絡能夠利用輸入數據的二維結構。與其他深度學習結構相比,卷積神經網絡在圖像和語音識別方面能夠給出更好的結果。這一模型也可以使用反向傳播算法進行訓練。相比較其他深度、前饋神經網絡,卷積神經網絡需要考量的參數更少,使之成為一種頗具吸引力的深度學習結構。

修改我的架構,使用卷積神經網絡來解決同一個問題,得到結果如下圖所示:

所得結果大為改善。但最好的結果還在後頭。

長短期記憶網絡

長短期記憶網絡(Long Short-Term Memory, LSTM)是一種時間遞歸神經網絡 (RNN),論文首次發表於 1997 年。由於獨特的設計結構,LSTM 適合於處理和預測時間序列中間隔和延遲非常長的重要事件。

LSTM 的表現通常比時間遞歸神經網絡及隱馬爾科夫模型(HMM)更好,比如用在不分段連續手寫識別上。2009 年,用 LSTM 構建的人工神經網絡模型贏得過 ICDAR 手寫識別比賽冠軍。LSTM 還普遍用於自主語音識別,2013 年運用 TIMIT 自然演講資料庫達成 17.7% 錯誤率的紀錄。作為非線性模型,LSTM 可作為複雜的非線性單元用於構造更大型深度神經網絡。

使用循環神經網絡(RNN)的變種後,我得到結果如下所示:

因此,整體來說均方誤差的趨勢出乎意料。

投資組合構建

我們嘗試使用深度學習解決的第二個金融問題是投資組合構建。在這個問題上,深度學習的實際應用效果很好。我的研究靈感來自這篇論文:《深度投資組合》(https://0x9.me/8uOBt)

這篇論文的作者嘗試構建自動編碼器,將時間序列映射到自身。使用這些自動編碼器的預測誤差成為股票測試版(與市場相關)的代用指標,自動編碼器用作市場的模型。

自動編碼器(auto-encoder),是一種無監督的學習算法,主要用於數據的降維或者特徵的抽取,在深度學習中,自動編碼器可用於在訓練階段開始前,確定權重矩陣 W 的初始值。基於上述自動編碼器的誤差選擇不同的股票,我們可以使用另一個深度神經網絡來構建深度指標,結果相當不錯,如下圖所示:

深度神經網絡已成為利用股票複製指數的指數構建方法。

但這只是它的開始!如果我們應用智能索引,在我去掉指數的極端下降期,並在智能索引上訓練我的指數映射深度神經網絡時,我就能以驚人的速度超過指數!

這種技術在證券投資組合領域有著巨大的潛力!

結論

目前金融業的趨勢是朝更複雜、更健全的的模式發展。隨著大量數據科學家湧入該行業,對所有銀行來說,技術是一個巨大的壓力。像 RelTec、Worldquant 這樣的對衝基金,在其交易中已經使用這種技術。由於這些複雜模型在其他領域所表現出的優異結果,以及在金融建模領域的巨大差距,將會有一系列的戲劇性的創新湧現!

更好地解決金融和貿易領域的關鍵問題,將會提高效率、提高透明度、加強風險管理和新的創新。

譯者感言

深度學習的一大優勢在於可以大幅減少人工參與的特徵工程去「擬合」訓練數據,但這也不是說完全不需要人去參與特徵的選取,尤其是金融市場,數據簡直是海量,並且大都高噪聲,非穩定,所以除非你能夠清楚哪些數據具有潛在價值、如何做適當的預處理和如何轉化並達成哪些目標,否則深度學習在金融領域是無法應用的。

如果設計得當,增加神經網絡的深度可以對更複雜的模式進行映射,因此可對金融數據的訓練產生更好效果。

例如 CNN 適合處理圖像一類的大數據,不一定直接適用於金融數據。金融數據雖然也可以很大,但通常不在一個數量級上——一幅圖像中的樣本數(像素、顏色)很容易上百萬,要訓練一個模型又要用到成千上萬個圖像,為了找到高效辦法提取特徵,於是計算機科學家想出了卷積神經網絡通過抽取特徵值來簡化運算複雜度。而我們處理的金融時間序列數據,單組樣本的數量常在百萬以下,規模上往往不需要卷積。進一步比較,相對於金融數據,圖像識別的特點是數據量龐大、特徵明顯、特徵重複次數多、特徵組合性強、出現的次序性、特徵呈現的方向性有時不強,這與金融數據噪音大、數量較小的特點有所不同。因此,在訓練金融數據時很有必要設計有針對性的深度機器學習模型。

本文涉及到的代碼可在作者的 GitHub Repo 中找到

https://0x9.me/P5ahd

原文連結

https://medium.com/towards-data-science/deep-learning-in-finance-9e088cb17c03

相關焦點

  • ARXIV:深度學習在金融領域中的應用 | 唧唧堂論文解析
    然而,相比較ML領域,DL(深度學習)是一個新興領域,越來越多的 DL 模型開始應用在金融中。本文的重點是介紹DL模型在不同金融領域的已實現應用,以便幫助對DL感興趣的研究人員和從業人員決定研究方向。因此本文提出了如下問題:1. 哪些金融領域是深度學習的應用熱門?2. 這些領域的現存研究是否成熟?
  • 機器學習算法盤點:人工神經網絡、深度學習
    機器學習算法盤點:人工神經網絡、深度學習 佚名 發表於 2016-08-01 16:26:33   機器學習無疑是當前數據分析領域的一個熱點內容。很多人在平時的工作中都或多或少會用到機器學習的算法。
  • 2020金融科技領域最具商業合作價值企業盤點
    (提示:欲獲取超高清大圖版產業圖譜,在數據猿微信後臺回復關鍵詞「圖譜」即可) 而此次《2020金融科技領域最具商業合作價值企業盤點》的推出,是繼產業全景圖發布之後,在尋找「中國數據智能產業最具商業合作價值企業」這一大型策劃活動中的又一重磅系列內容。 同樣,此系列盤點所呈現的企業與相關內容,也是經過層層篩選推薦機制下產生。
  • 統計學家範劍青:把 AI 學習金融,變為現實
    如今深度學習之所以能如此成功,範劍青認為它是權衡偏差和方差的有效方法,深度網絡使高維函數更加靈活,大數據降低了統計方差,而現在計算技術使大數據深度學習得到有效的實現。 範劍青認為,在經濟金融、生物醫學、管理決策和人文社會中,機器學習有很多挑戰和機遇。
  • 為什麼深度模型在 CV 領域好使,但用在圖網絡上就這麼難呢?
    為什麼深度模型在 CV 領域好使,但用在圖網絡上就這麼難呢?深度學習,特別是 CV 領域的模型,往往有數十上百層,與此相比,在圖「深度學習」中(大部分工作都 ≤5 層,談不上深,所以加個引號吧),大部分模型架構都是淺層的,設計深度模型到底有沒有用呢?
  • 常見概率模型在金融市場中的應用
    這類模型首先在物理學中得到應用,隨後在自然語言處理中被發現取得 良好效果。目前這類模型也常出現在金融、經濟等學術論文中用於檢驗經濟指標有效性 或者用作預測。這類模型在國外一些對衝基金公司也有所應用。  概率模型可以比靈活地從較少量數據中調校出來,但是在傳統機器學習問題上,比 如分類,非線性回歸等,這類模型效果在精確性和擴展性方面表現不會特別好。
  • 摩根大通報告12個亮點總結:金融領域的機器學習工具有哪些?
    如果你有相關專業的背景,金融領域已經向你打開了大門。摩根大通量化投資和金融衍生品戰略團隊的 Marko Kolanovic 和 Rajesh T. Krishnamachari 最近剛剛發布了一份在金融服務領域機器學習和大數據最為全面的一份報告。
  • 主流的深度學習模型有哪些?
    作者:阿薩姆 | 普華永道 數據科學家量子位 已獲授權編輯發布轉載請聯繫原作者深度學習大熱以後各種模型層出不窮,很多朋友都在問到底什麼是DNN、CNN和RNN,這麼多個網絡到底有什麼不同,作用各是什麼?趁著回答《深度學習的主要分類是什麼呀?這些網絡cnn dbn dnm rnn是怎樣的關係?》
  • 深度學習 vs. 概率圖模型 vs. 邏輯學
    【編者按】在上個月發表博客文章《深度學習 vs. 機器學習 vs. 模式識別》之後,CMU博士、MIT博士後及vision.ai聯合創始人Tomasz Malisiewicz這一次帶領我們回顧50年來人工智慧領域三大範式(邏輯學、概率方法和深度學習)的演變歷程。通過本文我們能夠更深入地理解人工智慧和深度學習的現狀與未來。
  • 回望2017,基於深度學習的NLP研究大盤點
    在過去的幾年裡,深度學習(DL)架構和算法在諸如圖像識別和語音處理等領域取得了世人矚目的進步。然而在最開始的時候,深度學習在自然語言處理(Natural Language Processing, NLP)領域的效果一般,但是現在已經被證實深度學習在自然語言處理領域依然能夠發揮巨大的作用。並且在一些常見的自然語言處理任務中,基於深度學習的方法已經取得了最佳的結果。
  • 有監督學習:從過去到現在的模型流行度(深度翻譯好文)!
    衡量機器學習模型的受歡迎程度出於本文的目的,我將使用一種常用方法來定義流行度。更準確地說,我將使用許多提及個別監督學習模型的科學出版物來代替受歡迎程度。當然,這種方法有一些局限性:流行的概念可能比出版物的數量更準確。
  • 統計學家範劍青:把 AI 學習金融,變為現實 | 萬字長文
    如今深度學習之所以能如此成功,範劍青認為它是權衡偏差和方差的有效方法,深度網絡使高維函數更加靈活,大數據降低了統計方差,而現在計算技術使大數據深度學習得到有效的實現。 範劍青認為,在經濟金融、生物醫學、管理決策和人文社會中,機器學習有很多挑戰和機遇。由於個體差異大,數據集未知,現在發生的事情與幾年後的變量完全不一樣,難以提取特徵,需要各學科交叉。
  • 統計學家範劍青:把 AI 學習金融,變為現實 萬字長文
    尤其是在金融行業,數據不平穩,隨著時間而變,多人參與競爭的市場也是對金融的挑戰。  而機器學習本身就是為降低維數和預測而設計的,他認為機器能學習金融,儘管金融非常複雜,但它的形式是可預測的。以股票收益預測為例,可以通過高維線性模型、機器學習模型或是深度學習模型來處理。他強調,成功預測的屬性一是大數據,二是魯棒,三是模型具備市場的重要特徵。
  • 2020年深度學習發展大盤點及對2021年深度學習的未來展望|極客雲算
    深度學習框架作為AI底層工具,對個人而言是進入深度學習世界的一把鑰匙,掌握深度學習框架並不等於理解了深度學習,要在AI開發中有所作為,關鍵還是要真正理解框架背後的技術、實踐和生態。隨著近年來的人工智慧發展,2020年深度學習依然是發展最快的領域之一,直奔未來工作。其發展是多方面的,而且是多方位的。
  • 深度學習時代的圖模型,清華發文綜述圖網絡
    選自arXiv作者:張子威、崔鵬、朱文武機器之心編譯參與:路、曉坤深度學習在多個領域中實現成功,如聲學、圖像和自然語言處理。但是,將深度學習應用於普遍存在的圖數據仍然存在問題,這是由於圖數據的獨特特性。近期,該領域出現大量研究,極大地提升了圖分析技術。清華大學朱文武等人綜述了應用於圖的不同深度學習方法。
  • 一文全覽深度學習在計算機視覺領域的應用
    已經是很熱的深度學習,大家都看到不少精彩的故事,我就不一一重複。簡單的回顧的話,2006年Geoffrey Hinton的論文點燃了「這把火」,現在已經有不少人開始潑「冷水」了,主要是AI泡沫太大,而且深度學習不是包治百病的藥方。計算機視覺不是深度學習最早看到突破的領域,真正讓大家大吃一驚的顛覆傳統方法的應用領域是語音識別,做出來的公司是微軟,而不是當時如日中天的谷歌。
  • 迎來PyTorch,告別 Theano,2017 深度學習框架發展大盤點
    這使得開發者的深度學習模型能夠有「最大限度的內存效能」,訓練比從前更大的深度神經網絡。過去兩年間,它在開發者社區享有盛譽,目前已成為最為常用的深度學習框架。它的功能全,社區好,因此使用率也一直穩定保持領先。而隨著 PyTorch 等框架的橫空出世,因為文檔和接口混亂,使用繁瑣等缺點,TensorFlow 廣受詬病。
  • 金融領域裡的機器學習算法介紹:人工神經網絡
    人工智慧的發展在很大程度上是由神經網絡、深度學習和強化學習推動的。這些複雜的算法可以解決高度複雜的機器學習任務,如圖像分類、人臉識別、語音識別和自然語言處理等。這些複雜任務一般是非線性的,同時包含著大量的特徵輸入。我們下面我們將分幾天的時間對這些算法及其在金融領域的應用進行闡述。
  • 深度學習的可解釋性研究(一):讓模型「說人話」
    但正如近日貝葉斯網絡的創始人 Pearl 所指出的,「幾乎所有的深度學習突破性的本質上來說都只是些曲線擬合罷了」,他認為今天人工智慧領域的技術水平只不過是上一代機器已有功能的增強版。從中是不是可以幫助我們發現一些潛在的關聯,比如我想基於深度學習模型開發一個幫助醫生判定病人風險的應用,除了最終的判定結果之外,我可能還需要了解模型產生這樣的判定是基於病人哪些因素的考慮。如果一個模型完全不可解釋,那麼在很多領域的應用就會因為沒辦法給出更多可靠的信息而受到限制。這也是為什麼在深度學習準確率這麼高的情況下,仍然有一大部分人傾向於應用可解釋性高的傳統統計學模型的原因。
  • 針對線性回歸模型和深度學習模型,介紹了確定訓練數據集規模的方法
    【導讀】對於機器學習而言,獲取數據的成本有時會非常昂貴,因此為模型選擇一個合理的訓練數據規模,對於機器學習是至關重要的。在本文中,作者針對線性回歸模型和深度學習模型,分別介紹了確定訓練數據集規模的方法。