西安交大本科學子論文被國際頂級會議NeurIPS2020錄用

近日，西安交通大學數學與統計學院2016級本科生汪宇豪作為主要參與人撰寫的論文「Amortized Variational Deep Q Network」，被國際人工智慧頂級會議NeurIPS2020（Conference and Workshop on Neural Information Processing Systems，神經信息處理系統大會）的Deep Reinforcement Learning Workshop錄用。NeurIPS作為學術界、工業界公認的人工智慧領域國際頂級會議，代表著當今人工智慧研究的最高水平。

該論文聚焦目前機器學習的研究熱點——強化學習算法，針對現有算法探索能力不足的問題，創造性地提出了基於均衡變分推斷的深度Q網絡方法。該方法的主要思想是將Q網絡的輸出（即動作價值函數）看作隨機變量，使用均衡變分推斷網絡估計該隨機變量的後驗分布。文中使用了重尾的柯西分布加強探索(exploration)，使用細尾的高斯分布加強利用(exploitation)。在gym庫中的Atari遊戲和馬爾科夫鏈問題上的實驗表明，文中的方法比現有深度Q網絡有更好的探索能力，在複雜的問題上表現更加突出。相比現有最新的強化學習方法，此方法參數量更少，訓練速度更快，探索能力更強。

汪宇豪是我校數學學院2016級本科生，2017年參加了學院組織的赴加拿大阿爾伯塔大學暑期交流項目，大四跟隨孫建永教授做畢業設計。在孫老師的引導和啟發下，汪宇豪閱讀了大量國際前沿領域文章，逐步找到了自己喜歡和探索的領域——強化學習。從論文的前期準備到最終投稿，孫建永老師都給予了極大的支持和鼓勵。

近年來，數學學院始終堅持培養具有家國情懷、國際視野，既有紮實數學基礎，又突出交叉應用的複合型數學人才，為每一位本科生安排了學業導師，每周對學生進行思想引導和專業指導，組織「數之韻」「數之理」「院士講數學」等系列講座，激發學生數學興趣，提升專業素養。同時，學院搭建高水平科研平臺，鼓勵學生創新創業，支持學生出國交流，為學生成長成才創造了良好的環境。