西交利物浦大學博士生在計算機視覺領域國際頂級會議發表研究成果

2020-12-17 科教頭條

看視頻的時候，喜歡用彈幕和「吃瓜群眾」們互動；當彈幕多到蓋住了畫面，又不能好好地欣賞視頻……你是不是也有這樣的經歷？

彈幕作為一種新的互動方式，近年來逐漸在各大視頻網站推廣開來。在享受彈幕帶來的陪伴和熱鬧的同時，你會不會也有觀感被影響的時候？如今有一項新的技術可以把視頻中的人和背景分割開來，為觀眾帶來更好的體驗。

這種「黑科技」能夠使彈幕文字自動避開人物，從背後穿越而過，是不是相當Amazing！

圖為bilibili彈幕視頻網站UP主洪千辰的視頻畫面

彈幕會在人物背後「穿過」

西交利物浦大學智能工程學院學者的研究為這項技術帶來新的發展，他們提出的模型在大幅度提升速度的同時還提高了識別的準確率。

該研究成果於近日收錄於計算機視覺領域最頂級的IEEE國際計算機視覺與模式識別會議（IEEE Conference on Computer Vision and Pattern Recognition，CVPR），這也是西浦第一篇以第一作者和第一單位身份收錄於該會議的文章。

據論文的第一作者、電氣與電子工程系博士生孫銘傑介紹，他們的研究使用了強化學習算法來解決如何快速、準確地跟蹤到視頻中的對象並將其與視頻背景進行分離的問題。這項技術能夠被廣泛應用在視頻彈幕、影視製作等領域，未來甚至有可能讓電影特技拍攝告別綠幕，直接在複雜背景中進行摳圖。

圖片說明：運用不同方法進行視頻對象分割的效果。由上到下依次為官方提供的真實值、西浦團隊提出的方法、SiamMask算法和RGMP算法，J值越大精確度越高。

孫銘傑的指導老師肖繼民博士指出，強化學習在人工智慧領域內是一項非常前沿的技術，目前關注度很高，比如戰勝了圍棋世界冠軍的人工智慧機器人AlphaGo就是其中的知名應用。

「使用強化學習算法研究視頻對象跟蹤與分割的過程中有一些很容易被忽視的技術難點，作為老師應該鼓勵博士生緊跟這些最前沿的技術，挑戰有技術深度和應用前景的課題。」他說道。

孫銘傑把研究重點放在目標模版的判定這一細節上。通過使用強化學習算法訓練模型，它可以智能、自主地完成「是否要用新的識別對象去替換原有的目標模板」這一決策判定。

圖為孫銘傑正在進行研究

他解釋道：「當計算機識別視頻中的對象時，首先需要一個參照物來和視頻中的對象比對，這個參照物就被稱作目標模版，它可能是被識別對象的照片或者其在其他視頻中的截圖。」

「當計算機根據目標模板識別出了視頻中某一幀的對象後，理論上來說這一幀的對象是可以替換原有的目標模板來進行後續信息識別的，因為它更接近視頻裡的真實信息。但因為視頻是動態的，可能這一幀的精確度並不高，或者周圍有遮擋物，如果這種情況下依舊用它進行後續識別的話，識別的精確度就會下降，甚至會導致目標模版損壞、無法繼續識別。」

孫銘傑表示，在使用強化學習算法訓練這個模型後，它可以主動學習提升，能夠像一個「智能開關」一樣自主決定是否需要替換模板，「和以前手寫很多規則的解決辦法相比，我們提出的模型覆蓋的規則更為全面，而且節省人力。」

測試結果表明，他們的模型在速度和質量兩方面都有所提升，對視頻對象進行追蹤與分割的工作效率明顯優於其他幾組。

圖片說明：在CVPR會議提供的DAVIS 2017數據集中不同方法的測試結果。橫軸為時間由短到長，縱軸為精準度由低到高，綠色星星代表西浦團隊提出的方法。

孫銘傑是由西浦智能工程學院院長林永義教授和肖繼民博士共同指導的博士生。林教授表示，作為博士生第一年的研究項目就可以成為西浦首篇發表在CVPR會議上的文章，這是對學生探索能力和老師教學能力的肯定。「在這個過程中，不論師生都頗有收穫，這也是我們在做科研的過程中緊貼研究導向型教學理念的一種體現。」

圖片從左到右依次為：

林永義教授、孫銘傑、肖繼民博士

指導老師簡介

林永義 教授

Prof Eng Gee Lim

電子與電氣工程系

教授

英國工程技術學會

會士 (IET Fellow)

英國皇家特許工程師

林教授於2002年畢業於英國諾森比亞大學，獲得電氣工程學博士，後就職於全球知名的通訊系統公司安德魯公司。於2007年加入西浦，現任西浦智能工程學院院長。

林教授在中外環境下積累了廣泛的科研、教學、學科建設、工商企業合作、國際合作以及管理方面的經驗。他的科研方向包括人工智慧，虛擬實境應用，機器人，智能醫療，射頻/微波工程等。他主持並參與完成了多個科研及企業合作課題。林教授是英國和澳洲工程與技術學會會士、英國高等教育學會資深會士、英國和澳洲皇家特許工程師、美國電氣與電氣工程學會高級會員。獲中國國家專利授權17項，發表學術論文及專著100餘篇。

肖繼民 博士

Dr Jimin Xiao

電氣與電子工程系

副教授

2013年取得英國利物浦大學博士學位，2013年至2014年任芬蘭坦佩雷科技大學信號處理系高級研究員，諾基亞研究中心研究員。

肖博士的研究項目獲得了多項國家自然基金（青年和面上）的支持。研究興趣有圖像視頻處理、計算機視覺、深度學習等。簡單來說就是如何讓電腦看懂圖像或者視頻裡面的內容，從而具有類似人腦的理解力。

肖博士近幾年在CVPR, AAAI, IEEE Transactions, pattern recognition頂級會議和權威期刊發表了論文20多篇。

來源：西交利物浦大學 記者：胡秋辰 金畫恬 編輯：寇博 攝影：趙宸緒 新媒體：袁小婉 俞啟凡 監製：王婧

相關焦點

  • 西交利物浦大學數學系本科生研究在國際頂級期刊發表
    西交利物浦大學數學系本科生研究在國際頂級期刊發表推薦系統在人們的日常生活中非常普遍，比如購物網站或者視頻網站等的首頁推薦。推薦系統通過分析用戶的行為，比如歷史購買記錄、觀看記錄等信息，得出用戶的個性化需求，並在此基礎上為用戶進行推薦。但如果是沒有任何歷史記錄的新用戶，系統該如何進行推薦呢？
  • 編程貓亮相國際頂級計算機會議ACM,發表重要研究成果
    近日，第28屆ACM國際多媒體會議在線舉行，編程貓核心技術中心聯合北京航空航天大學、中國科學院信息工程研究所亮相ACM會議，並表了《關於如何在細粒度上刻畫跨模態語義鴻溝》的論文，希望在視覺與文本中搭建有效橋梁，為將來提升教學效率做好技術儲備。
  • 編程貓立足科技創新 亮相國際頂級計算機會議ACM,發表重要研究成果
    近日,第28屆ACM國際多媒體會議在線舉行,編程貓核心技術中心聯合北京航空航天大學、中國科學院信息工程研究所亮相ACM會議,並發表了《關於如何在細粒度上刻畫跨模態語義鴻溝》的論文,希望在視覺與文本中搭建有效橋梁,為將來提升教學效率做好技術儲備。
  • ...生以第一作者身份在計算機視覺國際頂級會議ECCV2020發表論文
    近日，計算機視覺國際頂級會議ECCV2020（European Conference on Computer Vision）接收結果公布。理學院數學系應用數學和人工智慧研究團隊在ECCV2020上發表題為SingleImage Super-Resolution via a Holistic Attention Network論文。
  • 西交利物浦大學學生團隊研究登上頂級期刊
    近日，西交利物浦大學電氣與電子工程系科研團隊的研究成果《面向車載儲能設備的列車速度軌跡優化問題研究》發表在學術期刊《IEEE智能交通系統彙刊》（IEEE Transactions on Intelligent Transportation System）中，根據谷歌學術期刊排名，該期刊在交通領域中排名第一。
  • 西交利物浦大學勵松青博士在國際知名期刊發表論文
    西交利物浦大學英語與文化傳播系的勵松青博士近期在牛津大學出版社出版的<<應用語言學>>期刊上發表了一篇題為＂雙語廣告中的身份建構:批判認知分析法＂的學術論文，該期刊在應用語言學領域具有較高的知名度和影響力。
  • 港中大(深圳)博士生以第一作者的3篇論文被頂級國際會議收錄!
    近日，香港中文大學（深圳）理工學院和未來智聯網絡研究院喜報頻傳，我校博士生作為第一作者的三篇論文被頂級國際會議收錄。三名博士生的論文被IEEE計算機視覺與模式識別頂會CVPR 2020和信息檢索頂級會議ACM SIGIR 2020收錄。
  • 理學院數學系研究生以第一作者身份在計算機視覺國際頂級會議ECCV...
    近日，計算機視覺國際頂級會議ECCV2020（European Conference on Computer Vision）接收結果公布。理學院數學系應用數學和人工智慧研究團隊在ECCV2020上發表題為SingleImage Super-Resolution via a Holistic Attention Network論文。
  • 全國唯一,西電田聰教授團隊在頂級國際會議LICS 2020發表科研成果
    該會議是理論計算機科學領域最頂級的國際會議之一，與STOC、FOCS齊名，在計算機科學領域享有崇高的聲譽，成果代表著理論計算機科學的前沿，具有廣泛而深遠的學術影響力。LICS對成果質量要求極高，論文接收難度大，全球每年僅接收50-60篇論文。
  • 博士項目-西交利物浦大學博士項目一覽表(2021)
    西交利物浦大學（Xi'an Jiaotong-liverpool University）位於江蘇省蘇州市，是經中國教育部批准、由西安交通大學和英國利物浦大學合作創立的，擁有中華人民共和國學士學位和英國利物浦大學學位授予權的中外合作大學，承擔國家「863 計劃」科研課題的成員單位。
  • 奮鬥之路:從西交利物浦大學,到被哈佛大學錄取,她的故事精彩!
    在西交利物浦大學就讀的四年間，許清如遇到過很多「厲害」的學長、同學甚至學弟學妹。正如同為生物信息學專業畢業生、包攬杜克大學等11個世界名校offer的臧琛璇所言：「西浦是個臥虎藏龍的地方，裡面有很多大神，而且他們優秀的點是很多元、很獨特的，我很驚嘆某些同學在某些方面會做得如此突出。」
  • 大神級學霸：西安博士生論文被國際頂級會議錄用，錄用率僅有27%
    第十六屆歐洲計算機視覺會議 (European Conference on Computer Vision) 將於2020年8月23-28日通過線上舉行。該會議是計算機視覺三大頂級會議之一，代表著熱門科研領域的最前沿，具有廣泛而深遠的國際影響力。
  • 西交利物浦大學媒體報導回顧 - MBA中國網
    【MBA中國網訊】過去的一個月間，中國教育電視臺、《中國日報》、《新華日報》、《揚子晚報》、《蘇州日報》、蘇州電視臺等國家級及省市級媒體，關注並報導了西交利物浦大學，內容包括高等教育探索、西浦首屆國際節及師生科研成果等。在《泰晤士高等教育》、MORNINGSTAR等海外媒體上，西交利物浦大學的研究人員也多次發聲。
  • 西交利物浦大學研究團隊為人類繪製最精準M6A表觀轉錄組地圖
    近期，由西交利物浦大學生物科學系孟佳博士帶領的科研團隊，實現了對全轉錄組RNA分子m6A修飾的最精準預測，相當於為人類繪製了迄今為止最精準的m6A觀轉錄修飾地圖。其研究成果已發表於生物信息領域的一流期刊《核酸研究》（影響因子：11.561）。   　　該團隊對m6A修飾出現在基因的位置做出預測，並盡最大可能提升預測的精準度。
  • 西交利物浦大學位列2018蒂爾堡排名中國大陸第10名
    【MBA中國網訊】近日，由荷蘭蒂爾堡大學統計的「2018年全球經濟學研究機構排名」正式公布。西交利物浦大學位列中國大陸地區第10名。2018年荷蘭蒂爾堡大學全球經濟學研究機構排名（中國大陸地區）
  • 「華通案例」國內西交利物浦研究式研究生申請案例分析
    在完成課程後，學生將選擇拓展研究課題，進行為期一年的研究並提交論文。[本科成績單展示]：錄取院校：西交利物浦大學錄取專業：MRes Advanced Chemical Sciences（研究式碩士專業）錄取時間：2020.3.25~2020.4.8Offer展示：【申請的寫作材料】西交利物浦大學化學系的研究重點主要是化學生物和先進功能材料，申請文書主要突出學生的能源化學和有機化學學習成果
  • 西交利物浦大學:解題「洋大學」的「中國夢」
    西交利物浦大學執行校長席酉民表示，雖然西浦是中英合辦的，但我並不贊成原汁原味照搬英國甚至美國的教育模式，還必須融合自己的本土實踐，形成獨特的教育理念和教育模式，以及一套創新的、能夠整合全球教育資源的管理支撐系統和網絡體系。 一直以來，西交利物浦大學都按照世界知名大學的標準，全球選聘師資。2011年起，學校還聘用國際頂級教育獵頭公司考察高端人才。
  • 西交利物浦大學博士怎麼樣
    2006年5月中華人民共和國教育部《關於批准設立西交利物浦大學的函（教外綜函【2006】45號》第2條批示：「西交利物浦大學應充分依靠和利用西安交通大學和英國利物浦大學的資源，積極創造條件，適時開展研究生教育，培養高層次人才。」
  • 西交利物浦大學:培養中國的「紳士」
    2006年5月，美麗的蘇州新添了一所大學——西交利物浦大學（以下簡稱「西浦」），這個中西合璧的名字昭示了她的與眾不同，她是一所中英合辦大學。    截至目前，西浦已經招收十屆學生，正在招收第十一屆學生，第七屆學生進入畢業季。
  • 北大計算機所機器寫作成果榮獲AI頂級國際會議IJCAI 2018傑出論文獎
    2018年7月13日到19日，人工智慧（AI）領域頂級國際會議人工智慧國際聯合大會（International Joint Conference on Artificial Intelligence，簡稱IJCAI）在瑞典斯德哥爾摩舉行。