Machine Learning+宏觀經濟學入門長文

2021-02-13 混沌巡洋艦

本文來自巡洋艦群友 江海 博士的知乎文章 原文地址:

https://zhuanlan.zhihu.com/p/27521935

關於具體的乾貨,這裡就不再複製粘貼了,這裡只貼下目錄和參考文獻,感興趣的可以點擊查看原文去看乾貨,預期學習時間要再一個小時以上。

一. 金融和統計背景介紹

二. machine learning各個方法和在trading上的應用
2.1 Supervised Learning: Regressions 
2.2 Non-Parametric Regression: K-Nearest Neighbor and LOESS
2.3 Tree Based Method ( Random Forest 和 Extreme Gradient Boosting ) 
2.4 Classification ( Logistic Regression 和 Support Vector Machine )
2.5 Unsupervised Learning ( Principal Component Analysis 和 期權科普 )

參考文獻與推薦書籍: 

1.《Machine Learning and Alternative Data Approach to Investing》JP Morgan 
2.《Systematic Strategies Across Asset Classes》JP Morgan 
3. 《Momentum Strategies Across Asset Classes》JP Morgan 
4.《An Introduction toStatistical Learning》 
5.《The Elements of Statistical Learning》 
6.《Active Portfolio Management》 
7. 《Quantitative Equity Portfolio》 

那這裡貼什麼了,貼作者結尾的一段話吧,這段話適用於所有的人,這樣就不會嚇到那些對這個題目不感興趣的讀者了。

最近發現大家都越來越擔心自己的工作是不是以後會被機器人取代,特別是人類在圍棋上面被毫無懸念的橫掃之後。 不學習就直接被淘汰,譬如美國的工人階層就是一個最明顯的例子,即使trump將工業的工作機會強行弄回了美國,但長久以往人類對於工人技術的需求會越來越小,最終會成為書中的歷史。 但被機器人取代還是相對比較長期的趨勢,而短期更需要擔心的還是人和人之間的競爭。 

有沒有人想過為什麼現在社會競爭越來越激烈,我覺得可能分為兩部分,一部分是人和科技的競爭,另一部分就是人和人之間的競爭。 


人和人之間的競爭加劇很大一個原因就是網際網路。因為網際網路降低了獲得知識的門檻,使得任何人都可以通過網際網路低成本地習得所需的知識參與競爭,而原地不動的人自然就會被淘汰掉。 

在以前,一個人只能幹一類事,因為技能被自己的生活環境局限住了,只能接觸到身邊力所能及的技能知識,所以一輩子可能都只接觸到這一個技能和行業,但這種原始的環境實際上也是一種護城河,保護了自己相對他人的優勢。但是現在網際網路打破了這種隔離,把所有人都放在了同一個平面靠實力直接競爭,所有想學習的人都可以輕而易舉的學習到感興趣的領域,譬如編程和machine learning等,技能的獲得幾乎沒有成本。

這樣一來,競爭的就是每個人對於知識的理解深度和自身的努力程度了,不再具有之前由於生活圈子的局限而產生的護城河,只要利用好了網際網路資源,任何人都可以將自己PK下去。 


這也是為什麼每個人都會焦慮,因為沒有安全感,自己在工作上不再是不可取代,世界上任何一個人都有可能取代自己,甚至比自己要求的工資便宜得多,所以給自己所在公司一個理由,why me? 


為什麼興趣會越來越重要?因為大批對自己領域感興趣的人可以毫無阻礙的進入自己所在的領域,還比自己更加有興趣鑽研這個領域,長期以往自己積累的優勢自然就會逐漸消失。越覺得自己工作毫無挑戰性,那說明自己工作的進入門檻越低,自己在未來競爭中的優勢越小。 


那怎麼辦?除了不斷學習沒其他辦法,總不能怪別人太努力吧,特別對於中國這樣一個自古就強調努力的民族。 


很多人不知道自己的興趣在哪兒,甚至進入社會之後依然在茫然。我覺得吧,其實想找到自己的的興趣只有唯一的一個辦法。那就是一個字,試!找不到興趣的原因無他,就是因為自己接觸的東西太少了,被自己畫的圈限制住了。只有保持好奇心不斷去嘗試沒有接觸過的東西,我們才能在對比中找到相對喜歡的東西,自己的視野也在尋找中變寬廣了。只有找到自己喜歡的東西才能真心投入時間進去,才能一直積極主動的保持競爭力。 


網際網路降低學習成本不可阻擋,學習資源只會越來越廉價,知識也會在競爭中不斷快速進化,不進則退也只會愈演愈烈,我們能把握住的只有不斷學習的能力,找到自己的興趣和合理的定位,利用優勢建立相應的護城河,不然最終只有被取代的命運,無論是被人還是機器人。machine learning固然重要,learning machine似乎更為重要... 

怎麼建立起自己的優勢呢? 


平時少看幾篇散亂的文章,多看幾篇系統闡述的書。 


學一個領域最關鍵的是建立自己的理解系統,而不是死記硬背散落的知識點。只有真的把各個點通過自己理解的邏輯連成線和網才叫真的懂了,這個才是永遠不會忘的東西,也是真正的核心競爭力,具體每個點的細節並不是那麼重要。 


說實話不要覺得看看別人寫的文章自己就了解很多了,其實了解的都是皮毛和結果,並不是真正的內功。想要真的形成自己的一套東西,必須扎紮實實的思考出整個框架和邏輯,廣度都是建立在一定深度之後,沒有深度作為基礎的廣度就是空中樓閣,遇到實際難題一碰就散。 

雖然現在崇尚學科交叉還有複合型人才,但說實話,我現在的體會是切忌把技能點加太多。 


我自己就走了彎路,什麼都想學,結果什麼學的都是皮毛。 


之前我是對於任何事情都是非常好奇,物理金融統計量化心理哲學甚至各種運動和做菜,什麼都想學並且都想做好,後來發現任何技能點都是需要長時間全身心投入才能做到極致的,而人的精力是有限的,不可能真的什麼都學會,反而會把自己僅有的時間碎片化。而我又是一個不喜歡事情只做一半的性格,結果就導致放在waiting list裡面的領域越來越多,徒然給自己壓力。 

對於絕大部分人來說,就像投資一樣,如果你把資金全部分散化,確實分散了風險,但永遠不可能有很好的收益。一個是深度,一個是廣度,也就是收益和風險一個硬幣的兩面性。從個人來說相當於自己把總量不變的時間分配給不同的技能,雖然確實讓自己更加有綜合能力,但同時損害的也是自己長久發展的潛力。 


全部分散不好,但是集中在一個技能上面同樣也會有非常大的風險,時代畢竟一直在變化,誰也保不準自己的技能在未來是不是會被淘汰。當然不排除有人的edge就是重倉,但前提是你的深度可以超過大部分跟你同臺競爭的對手,如果不是,那只能說是無謂增加了風險。 

很少有人既做到深入專研,又做到對領域外也了如指掌。即使在金融領域,也是在深度的基礎上不斷積累出的廣度,而不是一開始的目標就是廣度。不然只會懂得皮毛,並且三心二意。 


所以人最重要的就是發現自己擅長的地方,並且從自己擅長的技能裡面挑最擅長或者最喜歡的一兩個專注的去做,這樣才能扎紮實實的make a difference。這種balance的trade-off其實是生活裡非常簡單的道理,但是往往最容易忽略。 

「吾生也有涯,而知也無涯。以有涯隨無涯,殆已!」 

擴展閱讀

人工智慧核心概念辨析

放開那隻機械姬——人工智慧中的意識與倫理 上

放開那隻機械姬——人工智慧中的意識與倫理 下

相關焦點

  • 教你Machine Learning 玩轉金融入門Notes
    學習宏觀和machine learning之後發現這兩個真是天生一對,這也是我為什麼想要寫這篇文章。 (對宏觀感興趣的童鞋可以參見我之前在知乎上寫的一篇自學筆記《Macro入門note》) 長的趨勢有長的因子,短的趨勢有短因子。周期則是一個框架將無數因子進行分類和重組,長周期將長期的因子給於動態權重互相作用在一起組成長周期的系統,中短周期亦如是,然後在不同的時間跨度上共同描述我們的整個經濟機器的運行。宏觀是勢,微觀是機。 而且對於不同市場,因子也會不一樣。
  • Machine Learning 入門指南(MOOC版)
    另外,實際程式語言我推薦用Python,ipython notebook+文本編輯器就夠了,具體就不多講了,Python入門課程也有很多,推薦邊學邊用。另外,ML是基於數據的,因此分布式的計算平臺是很實用的,edx上有兩門高質量的相關課程: Big data analysis with spark 、scalable machine learning ,課程不難,作業認真做就夠了。
  • 前沿資訊007|Machine Learning、Cloud Computing、Mobile Payment
    of machine learning to economics, as well as predictions about its future contributions.Next, the author reviews some of the initial 「off-the-shelf」 applications of machine learning to economics, including applications in analyzing text and images.
  • Machine Learning-模型調優備忘錄
    (這個與上面的區別在於數據集的特徵不同)混合數據樣本:很拗口,其實意思就是將數據集拆分成不同的子數據集,用於訓練同一個算法,最後輸出綜合的預測結果。這個也被稱之為bootstrap aggregation 或 bagging。
  • 技術詞條 | 機器學習(Machine Learning)篇
    An overview of machine learning. In Machine learning (pp. 3-23). Springer Berlin Heidelberg.Goldberg, D. E., & Holland, J. H. (1988). Genetic algorithms and machine learning.
  • 3.6 Google Machine Learning線上講座
    美東時間本周三7:30PM-8:30PM,BRC邀請谷歌一線工程師,為大家詳細解答上述問題,幫助大家開啟機器學習的大門講座內容:What is machine learningTypesof machine learningApplications of machine learningConcepts of machine learningSkills to get a ML-related job導師簡介:AI工程師,現就職於Google,5年以上數據相關工作經驗,在Big Data, Machine Learning,
  • Machine Learning-算法匯總介紹
    經典問題:classification and regression.(分類與回歸)經典算法:Logistic Regression and the Back Propagation Neural Network.(邏輯回歸算法與BP神經網絡算法)
  • 巴特勒:宏觀經濟學為什麼是偽科學
    宏觀經濟學為什麼是偽科學文/埃蒙·巴特勒 譯/
  • 機器學習(Machine Learning)&深度學習(Deep Learning)資料(之一)
    ,幫助初學者快速入門。《Advice for students of machine learning》 介紹:康奈爾大學信息科學系助理教授David Mimno寫的《對機器學習初學者的一點建議》, 寫的挺實際,強調實踐與理論結合,最後還引用了馮 • 諾依曼的名言: "Young man, in mathematics you don't understand things.
  • awesome-adversarial-machine-learning資源列表
    發現一個不錯的awesome-adversarial-machine-learning的資源列表,有需要的同學可以查看訪問:
  • 宏觀經濟學與錢的作用
    宏觀經濟學前文說到的都是微觀經濟學,從這裡開始分享宏觀經濟學的概念。二者有什麼不同呢?微觀經濟學風平浪靜,沒有發生過大革命它的核心永遠只有一個,就是需求和供給。回憶一下前文說到的選擇、歧視、成本、產權等,都是對需求的深入探討。
  • 吳恩達最新《Machine Learning》Jupyter Notebook 版筆記發布!
    其課程地址為:https://www.coursera.org/learn/machine-learning這門課基本涵蓋了機器學習的主要知識點,例如:線性回歸、邏輯回歸、支持向量機、神經網絡、K-Means、異常檢測等等。而且課程中沒有複雜的公式推導和理論分析。Ng 的目的是讓機器學習初學者能夠快速對整個機器學習知識點有比較整體的認識,便於快速入門。
  • 讀者推薦書籍和他的筆記Hands-on Machine Learning
    目的這份筆記旨在幫助中文學習者以一種較快較系統的方式入門機器學習,是在學習Hands-on Machine Learning with Scikit-Learn and TensorFlow這本書的時候做的個人筆記:
  • 吳恩達新書《Machine Learning Yearning》附完整中文版 PDF 下載!
    該書中文版 GItHub 地址:https://github.com/deeplearning-ai/machine-learning-yearning-cn在線閱讀:https://deeplearning-ai.github.io/machine-learning-yearning-cn
  • 博客 | 一份中外結合的 Machine Learning 自學計劃
    昨天看到了一位名叫Tess Ferrandez的小姐姐在推特上分享了一套自己的吳恩達老師的課程筆記,再看看我自己以前的筆記,真是非常害羞,世界上最難受的事情就是比你厲害比你努力的人做的筆記顏值也比你高,地址在這裡:https://www.slideshare.net/TessFerrandez/notes-from-coursera-deep-learning-courses-by-andrew-ng
  • 經濟學入門必讀系列
    因為小編大學學的專業是國際經濟與貿易,所以小編今天想和大家分享一下老師給我們推薦的經濟學方面的入門書籍~首先,小編想先和各位同學說明一下有關於經濟學與管理學的區別:在最近一期的《經濟學家茶座》封二上,王建國先生說的很好,大體是:經濟學是解釋問題
  • Hands-on Machine Learning with Scikit-Learn and TensorFlow 學習筆記
    目的這份筆記旨在幫助中文學習者以一種較快較系統的方式入門機器學習,是在學習Hands-on Machine Learning with Scikit-Learn and TensorFlow這本書的 時候做的個人筆記:
  • 異質性代理人宏觀經濟學簡史
    明尼蘇達的宏觀經濟學家在20世紀80年代還發展了另一類模型,其異質性主要表現為對市場參與的限制,從而導致缺乏對外部不確定性的保險。這種異質性主要表現在年齡方面,即由於經濟中同時存在至少兩代同質的代理人。因為每個代理人出生,然後死亡,這實際上限制了市場參與。這就是起源於Maurice Allais(1947)和Paul Samuelson(1958)的OLG模型。
  • 《Python 機器學習》-Python Machine Learning(附電子版 pdf)
    如今更新的是第二版,它的第一版長這樣:書籍對應代碼:https://github.com/rasbt/python-machine-learning-book-2nd-edition資源下載:為了方便大家,附上雲盤下載連結,長按掃碼關注:機器學習算法那些事
  • Auto Machine Learning 自動化機器學習筆記
    https://github.com/automl/auto-sklearn論文連結:http://papers.nips.cc/paper/5872-efficient-and-robust-automated-machine-learning.pdfClimbsRocks/auto_ml,