騰訊優圖實驗室高級研究員棟豪:時序動作分析技術的研究與應用 |...

2020-12-12 手機鳳凰網

「騰訊優圖專場」，是智東西公開課邀請騰訊優圖實驗室面向開發者和科研人員，專注講解騰訊優圖實驗室前沿研究成果的系列線上公開課，第一階段共計三講。第一講由優圖實驗室資深高級研究員瑋劍主講，主題為《3D人臉重建技術的研究與應用實例》。第二講由優圖實驗室研究員太平主講，主題為《人臉安全技術的研究與應用》。

12月14日晚7點，「騰訊優圖專場」第三講上線，由騰訊優圖實驗室高級研究員棟豪參與，並圍繞《時序動作分析技術的研究與應用》這一主題進行直播講解。

對於時序的分析一直是學術研究的熱點領域，研究人員們也提出了針對序列化信息建模的各種方法，比如RNN、LSTM、GRU以及在NLP領域已廣泛應用的Transformer。而在計算機視覺領域，視頻相對於圖像也增加了時間這一維度，如何對三維的視頻數據進行建模，提取其中的有效運動信息也在近年來受到越來越多的關注，比如動作識別、動作檢測等都屬於時序動作分析的子方向。

時序動作識別研究的是如何對經過裁剪的一段視頻進行運動特徵的提取，用以判斷動作類型；動作檢測研究的是在未經裁剪的一段視頻中找到運動的時間區間並確定運動類型。騰訊優圖實驗室在這兩個方向有著深入的研究，提出的TEI、TDRL、DBG等方法被AAAI、ECCV等人工智慧旗艦會議錄用。

在本次的講解中，棟豪老師首先會介紹時序動作分析技術的整體研究進展，然後重點解析騰訊優圖實驗室在時序動作識別和檢測兩個領域的最新研究成果，最後也會介紹到一些具體的應用和未來的研究方向。對視頻分析感興趣的朋友千萬不要錯過！

棟豪是騰訊優圖實驗室高級研究員，從事目標檢測、時序動作分析、圖像增強等領域的技術研究。他的研究成果被IJCAI、AAAI、ECCV、CVPR等人工智慧旗艦會議錄用，在時序動作分析領域，曾刷新動作識別榜單Something-Something。

相關焦點

  • Techo開發者大會,騰訊優圖分享最新研究成果和產業實踐
    騰訊優圖實驗室的研究員梁晨、王亞彪、姚達、楊博分別圍繞AI視覺傳感器、視覺算法在圖像編輯生成中的研究與應用、TNN跨平臺推理優化、模量化訓練部署及實踐等發表了主題演講，向業界展示了優圖最新研究成果與產業實踐。
  • 賈佳亞離開騰訊優圖實驗室,創立AI公司思謀科技獲 Pre-A 輪融資
    他曾擔任騰訊優圖實驗室高級研究員，同時也是賈佳亞在香港中文大學的學生。與此同時，思謀（香港）有限公司 100% 控股 深圳思謀信息科技有限公司，所屬軟體和信息技術服務業，註冊資本 1000 萬人民幣。沈小勇，浙江大學本科及碩士，香港中文大學博士及博士後。
  • 科技向善助力無障礙溝通,騰訊優圖發布AI手語翻譯機
    科技向善助力無障礙溝通，騰訊優圖發布AI手語翻譯機       5 月 16 日，全球無障礙宣傳日之際，騰訊優圖實驗室宣布攻克AI手語識別技術挑戰，聯合深圳市信息無障礙研究會發布
  • 騰訊優圖 11 篇論文入選,涵蓋動作識別、人群密度估計、人臉安全等...
    本次AAAI騰訊優圖實驗室共入選了11篇論文，涉及動作識別、人群密度估計、人臉安全等領域，展現了騰訊在計算機視覺領域的技術實力。通過將CME和SME集成到現成的2D網絡中，騰訊優圖最終獲得了用於動作識別的全面運動特徵學習方法。騰訊優圖的方法在三個公共數據集上取得了有競爭力的表現：Something-Something V1&V2和Kinetics-400。特別是在時序推理數據集Something-Something V1和V2上，當使用16幀作為輸入時，騰訊優圖的方法比之前最好的方法高2.3%和1.9%。
  • 騰訊優圖11篇論文入選,涵蓋動作識別、人群密度估計、人臉安全等...
    本次AAAI 騰訊優圖實驗室共入選了11篇論文,涉及動作識別、人群密度估計、人臉安全等領域,展現了騰訊在計算機視覺領域的技術實力。通過將CME和SME集成到現成的2D網絡中,騰訊優圖最終獲得了用於動作識別的全面運動特徵學習方法。 騰訊優圖的方法在三個公共數據集上取得了有競爭力的表現:Something-Something V1&V2和Kinetics-400。 特別是在時序推理數據集Something-Something V1和V2上,當使用16幀作為輸入時,騰訊優圖的方法比之前最好的方法高2.3%和1.9%。
  • 踐行科技向善,騰訊優圖發布AI手語翻譯機
    5 月 16 日，全球無障礙宣傳日之際，騰訊優圖實驗室宣布攻克 AI 手語識別技術挑戰，聯合深圳市信息無障礙研究會發布「優圖 AI 手語翻譯機」，致力於通過人工智慧技術為聽障人群搭建無障礙溝通平臺。據優圖實驗室 AI 手語識別項目組研究員陽趙陽介紹，優圖 AI 手語翻譯機以普通攝像頭作為手語採集裝置，依託高性能計算機進行後臺運算，用戶只需面對攝像頭完成手語表達，翻譯機屏幕界面就能快速把手語轉換為文字，幫助聽障人士和健聽人士進行正常交流，未來有望在機場、高鐵、民政窗口等公共場所部署應用，助力信息無障礙城市建設。
  • 騰訊優圖11篇論文入選,涵蓋動作識別、人群密度估計、人臉安全等領域
    本次AAAI 騰訊優圖實驗室共入選了11篇論文，涉及動作識別、人群密度估計、人臉安全等領域，展現了騰訊在計算機視覺領域的技術實力。通過將CME和SME集成到現成的2D網絡中，騰訊優圖最終獲得了用於動作識別的全面運動特徵學習方法。 騰訊優圖的方法在三個公共數據集上取得了有競爭力的表現：Something-Something V1＆V2和Kinetics-400。 特別是在時序推理數據集Something-Something V1和V2上，當使用16幀作為輸入時，騰訊優圖的方法比之前最好的方法高2.3％和1.9％。
  • AI 大牛賈佳亞告別騰訊優圖,創立「思謀科技」,已獲融資
    其核心成員，也就是該公司的創始人為賈佳亞、沈小勇，其中，沈小勇曾擔任騰訊優圖實驗室高級研究員。目前，媒體獲悉，該公司在深圳和香港設立了研發中心，並在上海設有商務代表處。據介紹，思謀科技是一家 5G+AI 領域的科技公司，致力於將 5G、AI 應用在高清視頻、智能製造等領域。
  • 對話優圖實驗室鄭冶楓:從西門子到騰訊,醫療AI如何突圍?
    這些回流的人才裡很多來自西門子美國研究院，包括周翔、徐晨陽、周少華，去年年初加盟優圖實驗室的鄭冶楓也是其中之一。從西門子到騰訊作出回國的決定時，鄭冶楓已經在西門子美國研究院工作了12年。鄭冶楓從美國馬裡蘭大學博士畢業後就進入西門子美國研究院，從事智能醫學影像分析方面的研究。
  • AI頂會解讀|時序動作分割與檢測,附代碼連結
    時序動作的分割與檢測是視頻計算機視覺技術的一大常規任務，對自動駕駛和機器人等應用至關重要，下面 3 篇論文是騰訊 AI Lab 在這一方向的探索成果
  • 騰訊優圖實驗室黃飛躍:科技向善 讓AI守護青少年網絡淨土
    9月11日，2020騰訊全球數字生態大會AI專場正式在雲端線上舉行。騰訊優圖實驗室副總經理黃飛躍發表了以《技術爆炸時代裡的優圖：從跋山涉水，到越過山丘》為主題的演講。他演講中表示，人類已經進入技術爆炸時代，人工智慧正成為未來經濟的主要增長點之一；驅動科技向善，AI應該更好的為社會服務。
  • 騰訊優圖CVPR 2018論文:圖片去模糊及快速肖像處理等多項技術解讀
    解密運動模糊：走向實用的非特定場景圖片去模糊技術在慢速曝光或快速運動拍攝照片時，圖像模糊常常困擾著照片拍攝者。優圖實驗室的研究人員開發了可以恢復模糊圖像的有效新算法。在此之前，圖像去模糊一直是圖像處理中困擾業界的難題。圖像模糊產生的原因可能非常複雜。比如，相機晃動，失焦，拍攝物體高速運動等等。
  • AI大牛賈佳亞離職騰訊優圖,自主創業且獲Pre-A融資
    騰訊再「折損」一名AI大將。最新消息顯示，原騰訊優圖實驗室負責人、騰訊傑出科學家賈佳亞已經離開騰訊，並創建了自己的AI公司：思謀科技，且獲得了Pre-A輪融資。如今再看，賈佳亞去年11月傳出「被離職」消息並不是空穴來風。
  • 香港中文大學賈佳亞教授加盟騰訊優圖,一大波圖像黑科技很可能在路...
    騰訊優圖實驗室則是國內領先的機器學習研發團隊，研究圖像處理、模式識別、深度學習，主要關注應用層面，在人臉檢測、五官定位、人臉識別、圖像理解等領域都積累了完整解決方案和領先的技術水平。賈佳亞教授很注重技術的應用，在他看來計算機視覺方面大量的研究都是由應用需求激發的，是為了解決實際問題而開發技術，他也把計算機視覺方法得出跟人類的自然視覺匹配的結果看作重要的關注點。此次加入騰訊優圖實驗室，騰訊副總裁梁柱表達了對持續提升AI的技術能力和應用場景的期待，賈佳亞教授也希望依託騰訊社交網絡的海量數據進行研究，拓展應用場景。
  • 騰訊優圖10篇論文入選人工智慧頂級會議AAAI
    作為人工智慧領域最悠久、涵蓋內容最廣泛的學術會議之一，會議的論文內容涉及AI和機器學習所有領域，關注的傳統主題包括但不限於自然語言處理、深度學習等，同時大會還關注跨技術領域主題，如AI+行業應用等。此次騰訊優圖實驗室共計入選10篇論文，涉及速算批改、視頻識別等。
  • 騰訊優圖學術再進階 論文入選計算機視覺領頂級會議CVPR 2018
    此次騰訊優圖入選的論文提出了諸多創新點，既是科研實力的體現，更挖掘出了更多可擴展應用技術，視覺AI有望為學術界和產業界帶來更多有價值的貢獻。解密運動模糊：走向實用的非特定場景圖片去模糊技術在慢速曝光或快速運動拍攝照片時，圖像模糊常常困擾著照片拍攝者。優圖實驗室的研究人員開發了可以恢復模糊圖像的有效新算法。在此之前，圖像去模糊一直是圖像處理中困擾業界的難題。 圖像模糊產生的原因可能非常複雜。比如，相機晃動，失焦，拍攝物體高速運動等等。
  • 2020年了,BAT都組建了哪些超強科技實驗室?
    其中，商業智能實驗室將聚焦用於新興數據密集型應用的高效數據分析技術；而機器人與自動駕駛實驗室則重點關注機器人技術，尤其是推進百度的無人駕駛基礎技術。騰訊兩大實驗室矩陣在基礎研究上，騰訊內部有四個AI實驗室，分別是騰訊優圖實驗室、AI Lab、WechatAI和RoboticsX機器人實驗室。當前，騰訊四大人工智慧實驗室和雲服務都在CSIG事業群中，騰訊將技術積累通過騰訊雲的載體形成完整的行業解決方案，提供給企業級客戶。
  • 原騰訊優圖負責人賈佳亞創業,新AI公司已獲pre-A輪融資
    圖丨賈佳亞（來源：騰訊）作為業內著名的計算機視覺專家，賈佳亞是香港中文大學計算機科學工程系教授、終身教授，師從前微軟全球執行副總裁沈向洋。於 2017 年 5 月 15 日宣布全職加入騰訊優圖實驗室，進行計算機視覺方面的理論研究和應用開發。業內有評論指出「騰訊又收穫了一位人工智慧領域的重量級專家」。
  • 騰訊優圖賈佳亞在「騰訊·雲+未來」AI大數據專場分享:計算機視覺...
    騰訊優圖實驗室傑出科學家賈佳亞，香港中文大學計算機科學工程系終身教授，於 2017 年 5 月 15 日公布消息，全職加入騰訊優圖實驗室，負責計算機視覺、圖像處理、模式識別等人工智慧領域的研究,及人工智慧與各應用場景結合的深度探索。
  • 騰訊發起Light計劃,優圖VisionSeed全面輸出軟硬體AI能力
    （騰訊倡議發起light計劃）作為light計劃的重要參與者和推動者，騰訊優圖將結合自身優勢，通過騰訊雲及騰訊優圖AI開放平臺，全面輸出軟硬體AI能力。值得一提的是，騰訊優圖聯合英特爾正式宣布推出的AI視覺模組VisionSeed，為AI愛好者實現零門檻視覺開發組件。VisionSeed是一個融AI算法、算力和攝像頭為一體的模組，能對拍到的畫面進行實時分析，通過UART輸出分析後的結果，接入就可實現人臉檢測、屬性分析、姿態估計、人臉識別等功能。為什麼說VisionSeed是零門檻，普通AI開發者也可以使用的模塊呢？