在方仔照相館，只需上傳一張照片，就可以生成定製積木玩偶 「AI科幻小說作家」，1秒鐘內可寫出一個曲折動人的兩千字故事，被科幻作家點讚 自動駕駛黑科技，在重重限制下做出了讓人驚訝的突破，更快速、更安全 使用視頻切割工具把「長課」拆短，用刷短視頻的方式上網課，實現隨時複習
在DeeCamp2020總冠軍答辯現場，這些學生們歷時一個多月打造的AI demo獲得了精彩展現。
它們兼顧黑科技與商業化、趣味性和嚴謹性。經過激勵比拼，最終兩支項目並列奪得總冠軍，獎金翻倍，另有五支獲得賽道冠軍。
AI+積木、AI+交通、AI+科幻、AI+醫療、AI+教育、AI+金融……無形而強大的AI力量，正在與各行各業深度結合，創造出讓人驚喜的新產品和新模式。
今天，就讓我們一探DeeCamp 2020 七支AI Demo 的神秘之處吧！
DeeCamp2020結營典禮，觀眾在展示區參觀
方仔照相館—— 一張照片生產定製積木玩偶
「AI+積木」會有什麼奇妙的組合？
DeeCamp2020 總冠軍之一，來自北京航空航天大學、清華大學、香港中文大學、奧地利科學技術研究所的同學們組成的「方仔照相館」團隊，用AI玩轉積木，為創意插上了翅膀。
「方仔照相館」是一個涵蓋博士、碩士、本科，同時擁有技術、藝術和設計背景的綜合性團隊。他們因為對積木的喜愛而走在一起，也希望用這個項目，將這份熱情傳遞給更多的人。
瀏覽器版本過低，暫不支持視頻播放
AI 積木創作平臺——「方仔照相館」
不知道你有沒有玩過塑造角色的遊戲？從臉型、五官、膚色到髮型服飾，每一個細節都可以進行選擇，最終捏出一個屬於自己的造型。
「方仔照相館」打造了一個AI積木創作平臺，只需簡單上傳一張全身照片，就可以生成個性化定製的方頭仔玩偶頭像，還能直接生成拼裝圖紙和零件部件圖。
可以說是實體版定製emoji，積木版奇蹟暖暖！
怎麼實現的呢？
他們分別使用了兩個神經網絡，進行上半身與全身的分析。根據輸入的圖像，抽取特徵向量，比如髮型、劉海、鬍子、眼睛、下巴、膚色、上衣款式、衣服圖案、鞋子顏色、手的擺放、褲子紋理等，最終得到了一個16個維度的向量，來編碼一個人從頭到腳的各方面特徵。之後根據這一向量來生成方頭仔模型。
為了使模型更細緻，運行速度更快，團隊採取分部位生成的方法。
首先，從網際網路收集大量設計師設計的模型，將各個部位的拼法編譯進資料庫中。對其中常用的部位拼裝模型進行可視化，例如手，髮型，衣服紋理等。
然後，根據各部位的拼法，在特徵空間進行匹配，從而得到各部位的對應零件。對每一塊積木進行對應的染色，貼圖，去除碰撞之後，便得到了最終的模型。
最後一步，是生成拼裝說明書，輔助用戶進行拼裝。
除了技術優秀外，方仔照相館團隊也已經設計好了商業化路徑，採取人物定製、線下「方仔照相館」設施的方式，直接實現商業化。
這個團隊的執行力也讓人驚嘆！在DeeCamp答辯最後不到一周的時間內，他們與數十家供應商進行商談與實地走訪。
從算法生成模型、到說明書排版製作、到積木採購，再到貼圖印刷、包裝設計製作、積木分揀，團隊高效分工與合作，保證了產品原型如期與大家見面。
李開復博士和他的定製版「方頭仔」
評委之一、創新工場董事長兼CEO李開複評價稱，「方仔照相館」讓我們驚訝於積木居然可以與AI結合。他們的「方頭仔」產品讓人充滿購買意願，幾乎是一項可以直接拿到融資的項目。
比盲盒還要可愛，比手辦更加獨特的玩具，也許在不遠將來就可以定製了！
Faster&Better/西天取經——自動駕駛的黑科技
自動駕駛是人工智慧中最具挑戰、最具有應用前景的方向之一。然而受限於算符和算力，目前還無法大規模落地量產。
如果把一個車載晶片處理器比作自動駕駛的「大腦」，算力就是大腦的運算速度，算符是大腦能夠使用的基本單元，算法是大腦思考所採用的方法。
更低的算力意味著更低的成本，更通用的算符意味著更好的適配，而更高效的算法則意味著更少的功耗。
所以在自動駕駛賽道中，組委會結合現實產業需求，對參賽團隊做出了嚴格的限制：
1、算力限制
摩爾定律終結，如何滿足實時要求？如何在有限算力下實現車載智能計算基礎平臺的系統冗餘、平滑擴展？
2、能耗與散熱
自動駕駛系統的能源損耗中，計算機佔了41%。 過高的能耗會導致嚴重散熱，因此需要專門的水冷裝置。
3、成本限制：
一塊2080Ti 顯卡需要 $1,494。
這就要求同學們兼顧算力算符的約束，滿足低成本低功耗，同時在更少的算力下保證實時性，提高檢測速率。
本次競賽，共有10支隊伍向自動駕駛賽道發起挑戰。最終，Faster&Better團隊以讓人震撼的技術實力摘得競賽總冠軍，「西天取經」團隊則榮膺賽道冠軍。
Faster&Better測試複雜場景下精確檢測車輛
Faster&Better帶來的成果堪稱一流的黑科技，獲得了李開復博士的高度認可，他說，「這個團隊的技術讓人驚訝，是一個可能改變行業的機會，非常值得投資」。此次自動駕駛賽道的出題方Momenta也非常讚賞該團隊的成果。
具體來說，Faster&Better團隊根據目標數據集的特點，展開調研與實驗，最終選定TTFNet作為主要模型，基於車輛檢測這個特定問題對模型進行升級改進。
最終呈現的技術方案，具備了推理速度快、訓練時間短、可擴展性強三個亮點，有利於無人駕駛場景下快速推理，和工業界對產品的快速迭代、上線，訓練和維護功耗更低，能夠部署在低成本的晶片上，適用於更廣泛的場景，為無人駕駛系統的安全性和穩定性保駕護航。
Faster&Better 團隊採用了TTFNet模型
未來，該車輛檢測模型可以部署到行車記錄儀等傳統硬體上，使其智能化，具有行車預警的功能；也可以應用到安防監控中，使用模型自動過濾刪選視頻中有車輛的場景加以保存，既可以節省存儲空間，也能夠節省人員回放視頻時的時間。
Faster&Better團隊相信，儘管自動駕駛領域面臨著諸多不確定性和挑戰，但是隨著一個個技術難題被攻克，自動駕駛落地並不遙遠。
就像隊名一樣，他們由衷地希望為自動駕駛行業添磚加瓦。
同時挑戰自動駕駛賽道的「西天取經」團隊，則獲得了賽道冠軍。
他們採用了非常多業界先進的技術，從Backbone、Neck、Loss三個層面出發，設計了一系列滿足算符算符約束的目標檢測模型，並作出做出適配改進，進行算法針對性優化。
相比Baseline，「西天取經」團隊最快+18.33fps
推理速度是衡量自動駕駛技術的關鍵指標，目前行業內對推理速度的最低要求是10fps, 而該團隊的產品推理速度最快達到了74.5fps。
同時，他們提出了基於數據分析提出特定的增強方法，改善了夜間難樣本的訓練。
經過真實場景下的測試，無論側視、後視、前視、夜景，都表現出了良好的遷移效果，測速、性能表現較好，達到了簡單場景下的車輛檢測要求，有滿足商業落地的潛力。
「西天取經」的項目可以在手機端部署
該項目另外一大亮點是在手機上集成了檢測產品，做到了產品級別的實時呈現。未來，產品將可以搭載到智能行車記錄儀車輛預警、車載手機預警APP、交通事故實時監測、實時治安情況監測等多個領域。
正如隊名「西天取經」，他們希望在自動駕駛的漫漫長路上，經歷磨難，不斷成長，不斷探索。
AI科幻世界——打造「AI科幻小說作家」
創新賽道的冠軍「AI科幻世界」團隊，打造了一個可以生成科幻小說的系統。
該團隊的五位同學來自中科院、美國喬治梅森大學等高校，他們原本就對科幻小說十分感興趣，想要自己嘗試卻總是有始無終。
於是，他們乾脆做了一個「AI科幻作家」。
他們基於Open AI 的GPT-2模型，在百億級中文大規模語料上重新訓練，根據作者設定好的故事主線、人物角色等，實現交互式生成科幻小說內容，不僅可以遣詞造句，還可以創作構思，讓普通人也可以化身「科幻文學大咖」。
在開發的過程中，團隊借鑑了作家創作小說的過程，受到認知心理學和文學理論啟發，提出情節大綱主導的、人機協同寫作的範式：
用戶輸入第一句，機器輸出多個人稱一致、語句連貫、邏輯合理的下一句話候選，由用戶做篩選和修改，不斷重複形成情節閉環。
在人機協同的半自動模式下，這位「AI 科幻作家」寫作故事大綱的速度每分鐘可達50-100字。而在無人幹預的全自動模式下，可以在1秒鐘之內寫出一個曲折動人的兩千字故事，揭開了創作的神秘面紗。
瀏覽器版本過低，暫不支持視頻播放
AI科幻世界導師、著名科幻作家陳楸帆點評
AI 科幻世界的導師是著名科幻作家陳楸帆。在他看來，AI 科幻世界項目雖然在目前算法還無法處理人物關係，但可以啟發作者思路，幫助構思，擺脫思維慣性和固有的禁錮，從更廣闊、彈性的空間上給與作家情節脈絡發展的創意和啟發。
AI讓傳播更高效，該項目將可以應用在商業傳播場景中，提升內容的廣度和個性化，兼顧精準分發下的用戶需求和內容質量，滿足企業對海量信息的搜集、分析、篩選、整理和發布需求。
心靈捕手——軟硬結合的 「AI 智能醫生」
醫療與公共衛生賽道的冠軍「心靈捕手」小組，在兩個月時間內，做出了一款軟硬結合的「聽醫聲」AI診斷專家。
硬體是電子聽診器，軟體是小程序和後臺雲端分析系統
根據數據顯示，心血管類和呼吸系統類疾病，是中國城鄉居民主要的疾病死因。
目前兩種疾病的前期診斷，主要靠聽診完成。但由於缺少定量的心音分析技術，以及受醫生主觀判斷的影響，容易做出錯誤的評價和診斷。
這也是「聽醫聲」這個作品的初衷，他們希望使用第三方專業的評估平臺為醫生提供診斷參考。
瀏覽器版本過低，暫不支持視頻播放
「聽醫聲」產品介紹
「聽醫聲」中西結合，集成了心、肺、脈搏一體化監測，依託電子聽診器，對心音、呼吸音、脈搏三種信號做檢測，可以區分4類心音信號，計算用戶的心率和血壓；區分6類呼吸音信號；可以將脈搏分為5種脈象。
電子聽診器採集到音頻信號後，會發送到小程序，由小程序上傳到雲伺服器，經過伺服器處理之後將診斷結果發送到小程序中進行顯示，提供多維度的病情分析，並給出健康建議。如需就醫，還會自動推薦附近的醫院。
該電子聽診器是由團隊自主設計製作的電路與外殼組成，外殼採用了雙圓盤扣合結構，還搭配了大容量的鋰電池，待機時長可達40天。
呼吸音預測，使用集成學習與卷積神經網絡方法，結合kaggle網站心音數據集進行訓練。
首先將採集到的音頻信號，經過預處理，分割，特徵提取等，輸入到Adaboost分類器中，作為第一路分類模型；然後原信號經過頻帶分解生成MFCC熱圖，輸入到CNN網絡裡面作為第二路分類模型。最後，兩路模型經過決策樹得到最終的一個分類結果。
李開復博士體驗「聽醫聲」AI診斷專家
心音預測採用心率變異性作為分類的主要特徵，它是一個與心臟健康程度密切相關的指標。由於缺少開源資料庫，心音預測採用遷移學習的方法。對心音異常部分計算HRV特徵，結合輔助數據通過遷移學習進行學習和分類。
此外，「聽醫聲」也加入了中醫診斷功能，這引發了答辯現場評委的質疑：用AI做中醫「號脈」真的靠譜嗎？
「心靈捕手」團隊解釋說，為了增加數據的可靠性，他們收集了6000份中醫專家診斷的脈象臨床數據，提取相應的特徵，把專家經驗轉化為臨床診斷量化標準，最終的分類準確率達到了0.92。
「聽醫聲」這款產品便攜易用，操作簡單，將來不僅可以在醫院幫助醫生做初步診斷，還可以為醫療資源不足的鄉村醫生、鄉村留守老人提供幫助。
Teched U——用刷短視頻的方式上網課
同樣是在家上網看視頻，上網課就令人感到疲憊，看短視頻就十分輕鬆愉快了。
那能不能用刷短視頻的方式上網課？
教育賽道的冠軍，來自CMU和賓大的同學組成的「TechedU」團隊就做了這樣的一套產品。
短視頻+教育的理想模式
他們設計了一套TopicNet算法，可以根據知識點、主題，把很長的網課視頻按照知識點拆成簡短的視頻，便於理解和吸收，如果有你已經掌握、不想再聽的知識，也可以直接跳過節省時間。
基於transformer的端到端多模態視頻分割算法
而且，把「長課」拆短之後，就有了課程大綱。
你可以從大綱裡選擇自己想聽的部分，比如把老師劃的重點選出來，重新組合，專門聽重點的課程。
另外，藉助OCR等技術，這項產品還實現了視頻搜索功能。也就是說，在聽完一門網課一段時間之後，如果突然忘記某個知識點，就可以直接搜索關鍵詞，跳到老師講這個知識點的地方，重新聽老師是如何講解這部分知識的。
這樣，不用辛苦地整理筆記，也可以隨時複習了。
Teched U團隊的同學們說，他們的模型準確率達到了91.6%，高於業界44%的水平。在他們看來，教育視頻經過這樣的處理，可以大大提升用戶體驗，提升付費意願，用戶們為了優質的體驗也不再傾向於找盜版課程資源，有利於在線教育公司的發展。
實驗結果：模型準確率91.6%，遠於業界最新模型44.0%
Non-pretrain——AI賦能外匯交易，平均年化收益10%
用 AI 取代人做外匯交易，平均年化收益10%，聽起來是不是很振奮？
商業賽道的冠軍、來自南京大學和復旦大學的「Non-pretrain」團隊，做的就是這樣一套產品。
他們提出了一項基於機器學習的外匯交易輔助系統——「CAP Quant」。
該系統，讓計算機在海量的數據中學習匯率的變化規律，以此來制定交易策略。
經驗證，在最基礎策略下，該模型即可盈利，所有年份年均收益率為9.9301%，最近5年收益率為11.7615%。
CAP Quant產品趨勢圖
「Non-pretrain」團隊使用了DeeCamp2020的合作夥伴路孚特（中國）提供的數據：從2000年到2019年的匯率變化數據，還有提取出的市場情緒數據、宏觀經濟數據、利率基準數據、以及計算出的各項技術指標。
量化交易一般遵循這樣的技術流程。首先將原始時間序列數據，經過清洗和特徵提取等，組織成一條條的訓練樣本。
然後使用模型（比如神經網絡模型）進行訓練，得到回歸模型。有了回歸模型之後，就可以進行預測，從而評價模型並且調優各種參數。最後基於預測模型建立交易策略。
不過在進行這些流程的時候，這個團隊遭遇到了非常多的挑戰。
挑戰一：可解釋性
常規神經網絡有個明顯的缺點，就是它不知道為什麼做出這樣的預測。
Attention機制是目前火遍全網的世界上最大的神經網絡GPT3 的核心原理之一，「Non-pretrain」創造性地將這一機制引入到外匯預測模型中。
在該機制下，得到歷史數據時間點及數據種類對預測結果的影響程度，從而解釋為什麼做出這樣的預測。這樣人類交易員不僅可以從中總結出經驗，還可以根據不合理的解釋去拒絕機器的預測結果。
將Attention機制引入到外匯預測模型中
挑戰二：置信度
置信度不僅可用於制定交易策略，給投資者信心，還可用於模型改進與迭代。
問題是，如果直接應用神經網絡進行回歸預測，將難以得到預測置信度。預測結果如果沒有置信度，那我們也很難將這個結果應用在實際的外匯交易中。
團隊想到了可以通過多模型預測結果一致性來得到置信度，於是他們設計了一個集成機制。首先使用聚類劃分數據，對每一個類單獨訓練一個模型，再將各模型集成。這樣提高了準確率的同時也得到了預測置信度。
通過多模型預測結果一致性來得到置信度
挑戰三：窗口大小參數調整
以往的機器學習模型，對於超參數大多是憑經驗拍腦袋確定，或者需要大量調參。這也是為什麼說人工智慧調參，類似於古代煉丹。
窗口大小是量化交易中的關鍵性超參數，決定將多長時間歷史數據輸入模型，過長造成冗餘信息過多，影響訓練速度與效果，過短則無法提供足夠的信息進行預測。
Non-pretain團隊決定採用數據驅動的方式自動定窗，計算數據偏自相關係數來確定最終大小。從圖中可以看出，窗口大小為28足夠包括大部分的信息。如此便自動化地確定了窗口的大小。
自動化確定窗口大小為28
目前，這套模型已經與路孚特公司合作，探索應用到外匯市場的可能。未來，將可以成為一款to B的輔助交易系統，為客戶預測走勢，給出買入賣出建議，同時提供可解釋性與置信度，還可能提供更多的拓展模塊，應用到股票和債券等場景中。
DeeCamp四周年：迭代與堅守
DeeCamp 2020 與往年有很多不同。
自2017年DeeCamp人工智慧訓練營發起以來，一直都是在線下舉辦。
在暑期1個月時間裡，同學們同吃同住，一起上課，合作打磨demo產品，最後集中展示成果。在產業界、學界導師的指導下，獲得真實場景中的實踐案例經驗。
但是受疫情影響，DeeCamp2020 的大師課和開放性競賽都需要轉移到線上。這是一次重大的迭代，也是個艱巨的挑戰。
一群來自全球、互不認識的大學生，在完全不見面的狀態下，要用最短的時間組建團隊，建立信任，確定課題，分工合作，打磨出兼具技術實力和商業潛力的AI demo，難度可想而知。
這次參加競賽的200多名學生，來自海內外74所學校，分布在86個國內城市及北美和歐洲的17個海外城市。大家時差不同，也給彼此的合作增加了阻力。
在總冠軍答辯典禮上，創新工場董事長兼CEO李開復博士評價說，「特別驚喜地看到同學們今年的作品，跟以往線下合作在水平上基本沒有區別，這說明好的科研產品是可以在線上合作完成的，讓我們非常振奮！」
創新工場董事長兼CEO李開復博士致辭
但在這背後，其實是同學們加倍的負責與付出。
以今年唯一的智能硬體項目「聽醫聲」為例。該團隊的五位同學，有四位來自中科院大學，但是參加DeeCamp之前互相併不認識。
通過DeeCamp組隊後，五個人分別負責前端、後端、硬體、以及算法模型的設計和開發，從完全陌生到默契配合， 從零到一，打造了一個軟硬協同、接近落地的產品。
負責硬體開發的潘易辰同學說，「一個多月的時間，從無到有，『聽醫聲』就像我的孩子一樣，看著它慢慢長大，逐漸成形。雖然只拿到了賽道冠軍，但是已經很滿足啦！給開復老師診斷也成為『聽醫聲』的高光時刻。」
「聽醫聲」在河南大學第一附屬醫院做心音預測數據採集
這次總冠軍之一、Faster&Better團隊的隊長潘恆同學說，從報名入營到拿到總冠軍，這一路收穫滿滿，如同「夢幻之旅」。
「7月30日終期答辯拿到賽道第一後，覺得我們的賽題不適合講商業創新的故事，而對總冠軍不抱幻想。但想著對項目負責，這幾天還是和張老闆從早晨肝到深夜，各種物料改了一版又一版。上午答辯後，開復老師公布總冠軍的時候，才是後知後覺的驚喜。」
Faster&Better項目夜晚場景路面測試
DeeCamp 提倡同學們發揮「自我組織、自我管理、自我表現」的精神，進行一段自我驅動的AI學習實踐之旅。
在訓練營期間，他們不僅自發組織了13場分享會，也在這個過程中結下了深厚的友情。
徐豪同學說：「可能每一個好的團隊裡，每個人都覺得自己被帶飛吧。我信任隊友做項目時候的各種設計，希望疫情過去後可以跟隊友以及其他幫助過我們的人聚一聚。」
陳琰鈺同學說：「小夥伴們都超級優秀，能認識你們真的很開心。感謝隊友的信任選我做隊長，爭取下次是一個能帶飛隊友的小陳！」
DeeCamp的Demo作品有一個明顯的特點，不僅技術有創新突破，產品化、商業化程度也很高。幾乎每個項目都對未來的商業落地場景進行了思考與嘗試。
例如，教育賽道的冠軍項目「Teched U」已經準備產品化，首先與行業領先公司合作共建標杆項目，未來面向中小型在線教育公司提供SaaS服務。
該團隊的周瑞宸同學負責商務，他表示團隊已經和市場上的多家頭部教育公司開始了合作對接，正在嘗試為這些公司的視頻進行切割拆分。
要知道，DeeCamp兩個月前才剛剛開始，這是一個僅僅準備了不到2個月的項目，就已經有了商業化成功的苗頭。
在Teched U團隊答辯之後，李開復博士評價說，「to B方案很成熟，可以真正實施去創業，先賺到錢再考慮to C」。
這句話給了周瑞宸很大的鼓勵，他說，「DeeCamp雖然結束，但是這個項目還沒有結束，用創業的心態推動項目前進的歷程還沒有結束。畢竟，從0到1是一場無限遊戲，只有在你想要結束的時候才會停止。」
創新工場人工智慧工程院執行院長王詠剛說，今年的課程設置中，有刻意引導學生從產業和商業綜合層面考慮問題，這也是今年DeeCamp更加突出的特色。
創新工場人工智慧工程院執行院長王詠剛解讀DeeCamp2020
DeeCamp 2020的主題是用AI解決真實世界的問題，也就是說，AI的設計與製作需要從綜合層面考慮，這也就包括了技術產品和商業化。
這也契合DeeCamp人工智慧訓練營發起的初衷：培養AI應用人才，引導學生體驗 AI 技術如何轉化為產業應用，積累實踐案例經驗，真正解決來自真實世界的難題，創造更美好的生活和人類未來。
DeeCamp四年，初心未變，未來也將砥礪前行！