Talk預告｜清華在讀博士寧雪妃：高效神經網絡學習系統研究

2020-09-07 將門創投


本周為將門-TechBeat技術社區第239期線上Talk！

北京時間9月2日(周三)晚8點，清華大學電子工程系在讀博士—寧雪妃的talk將準時在將門TechBeat技術社區開播！

她與大家分享的主題是: 「高效神經網絡學習系統的研究」。屆時將會介紹高效的神經網絡結構設計和神經網絡訓練的硬體加速。

Talk·信息

▼

主題：高效神經網絡學習系統研究

嘉賓：清華大學電子工程系在讀博士 寧雪妃

時間：北京時間 9月2日 (周三) 20:00

地點：將門TechBeat技術社區

http://www.techbeat.net/


Talk·提綱

▼

卷積神經網絡架構在各應用上取得了很好的效果。近年來針對高效神經網絡學習系統的研究很多，試圖將神經網絡學習系統往更高效率的方向推進。這個報告分享了我們組近一年在兩個方面的工作，一方面是高效的神經網絡結構設計，另一方面是神經網絡訓練的硬體加速。

本次分享的主要內容如下：

1、研究背景

2、高效網絡架構設計

3、高效訓練

4、工程框架

5、總結


Talk·參考資料

▼

本次分享中將會提及的paper list如下，建議提前預習哦：

預習資料

[1]Discovering Fault-Tolerant Neural Architecture , in The 25th Asia and South Pacific Design Automation Conference (ASP-DAC 2020), 2020.

[2]FTT-NAS: Discovering Fault-Tolerant Neural Architecture , under review (https://arxiv.org/abs/2003.10375), 2020.

[3]Black Box Search Space Profiling for Accelerator-Aware Neural Architecture Search , in The 25th Asia and South Pacific Design Automation Conference (ASP-DAC 2020), 2020.

[4]A Generic Graph-based Neural Architecture Encoding Scheme for Predictor-based NAS , in ECCV, 2020 (a).

[5]DSA: More Efficient Budgeted Pruning via Differentiable Sparsity Allocation , in ECCV, 2020 (b).

[6]Towards Lower Bit Multiplication for Convolutional Neural Network Training , under review (https://arxiv.org/abs/2006.02804), 2020.

[7]Compressed CNN Training with FPGA-based Accelerator, under review, 2020.

[8]NAS框架代碼: https://github.com/walkerning/aw_nas


Talk·提問交流

▼

方式 ①

在本文留言區直接提出你的問題，或掃描下方二維碼提問！問題被選中的小夥伴們將獲得一個紅包獎勵！

快來提問啦！

方式 ②

在Talk界面下的【交流區】參與互動！留下你的打call和問題，和更多小夥伴們共同討論，說不定就被講者直接翻牌解答了呢！

你的每一次貢獻，我們都會給予你相應的i豆積分，近期還會有驚喜獎勵哦！


Talk·觀看方式

▼

掃描下方二維碼，

或登錄TechBeat官網 www.techbeat.net

一鍵完成預約！上線後會在第一時間收到通知哦~

嘉賓介紹

▼

寧雪妃 清華大學電子工程系在讀博士

寧雪妃，2016年獲得清華大學電子工程學士學位，2016年至今為清華大學電子工程系在讀博士，研究方向為面向硬體系統的神經網絡架構搜索。已發表一作SCI文章1篇，EI文章3篇。

關於TechBeat社區

▼

TechBeat(www.techbeat.net)是一個薈聚全球華人AI精英的成長社區。

我們希望為AI人才打造更專業的服務和體驗，加速並陪伴其學習成長。

期待這裡可以成為你學習AI前沿知識的高地，分享自己最新工作的沃土，在AI進階之路上的升級打怪的根據地！

更多詳細介紹>>TechBeat，一個薈聚全球華人AI精英的學習成長社區

相關焦點

  • 德克薩斯A&M大學在讀博士遊宇寧:自監督學習在圖卷積網絡中的研究...
    然而，自監督如何應用於處理圖數據結構的圖卷積網絡（GCNs）的問題卻很少被探索。作為圖神經網絡中的重要分支，GCNs解決了CNNs無法處理非歐幾裡德結構數據（如社交網絡、推薦系統上抽取的圖譜等）的問題，能從拓撲結構網絡中有效提取空間特徵。因此，GCNs成為了當前機器學習領域的研究熱點之一。
  • 多倫多大學在讀博士朱子寧:如何利用語言探針檢測深度神經模型性能...
    「NLP前沿講座」，是智東西公開課針對自然語言處理領域推出的一檔講座，聚焦於自然語言處理前沿領域研究成果與進展。我們將持續邀請研究者、專家與資深開發者，為大家帶來直播講解。語言模型編碼在神經模型中的評估越來越受到科研人員的關注。
  • 前沿播報 | 新全光二極體、新型自旋閥結構、新型高效節能深度學習神經網絡、「神經網絡核磁共振成像」…
    美國橡樹嶺國家實驗室開發出新型高效節能的深度學習神經網絡美國橡樹嶺國家實驗室的研究人員近日開發出能夠解決複雜科學問題的高效節能的深度學習神經網絡。研究人員通過將深度學習神經網絡(DNNs)轉化為「深度脈衝」神經網絡(DSNNs)，可以提高網絡設計與運行的能源效率。
  • 【乾貨】圖神經網絡的十大學習資源分享
    乾貨】圖神經網絡的十大學習資源分享英語原文：Top 10 Learning Resources for Graph Neural Networks翻譯：雷鋒字幕組（聽風1996）圖神經網絡（GNNs）是深度學習的一個相對較新的領域，從最近開始越來越流行
  • 為什麼要進行圖學習?談一談逆勢而上的圖神經網絡
    NeurIPS2020 | 解決不確定性問題—用於半監督學習的圖隨機神經網絡(代碼已經公開)ICLR 2020 | 兼顧效率與質量—基於譜方法的高效多級圖嵌入框架NeurIPS2020 | 用於半監督學習的圖隨機神經網絡NeurIPS2020 | 顯著超越STGCN: 方法簡單-效果顯著自適應構圖的時空圖網絡硬核 | TKDE2020
  • Widrow-Hoff神經網絡學習規則的應用研究
    通過對線性神經網絡的訓練，進一步驗證Widrow-Hoff神經網絡算法的有效性，以及用其進行系統辨識的高精度擬合性。關鍵詞：Widrow-Hoff學習規則；線性神經網絡；Matlab；系統辨識本文引用地址：http://www.eepw.com.cn/article/191985.htm1 引言 利用神經網絡解決實際問題時，必定涉及大量數值計算。
  • Twitter團隊最新研究:快速高效的可擴展圖神經網絡SIGN
    字幕組雙語原文：Twitter團隊最新研究:快速高效的可擴展圖神經網絡SIGN英語原文：Simple scalable graph neural networks翻譯：雷鋒字幕組（季一帆、何月瑩）但是令人失望的是，對GNN模型的研究和應用都是在規模較小的圖上進行的(比如被廣泛使用的引用網絡數據集-Cora，該數據集僅僅包含約5K節點[1])，大規模圖數據的研究卻很少受到關注。與之矛盾的是，在實際工業場景中，需要處理的確實超大規模的圖，例如包含數億節點和數十億邊的Twitter或Facebook社交網絡，先前的研究工作很難用於這些圖的處理分析。
  • 基於憶阻器的神經網絡應用研究
    相比之下，人腦神經系統的信息活動具有大規模並行、分布式存儲與處理、自組織、自適應和自學習等特徵，數據存儲與處理沒有明顯的界限，在處理非結構化數據等情況下具有非凡的優勢。人工智慧就是研究、開發用於模擬、延伸和擴展人的智能的系統，對人的意識、思維的信息過程進行模擬，在當今時代背景下具有巨大潛力。
  • Talk預告 | 南大NLP實驗室x字節李磊團隊合作研究：基於隱變量模型的神經機器翻譯
    北京時間10月10日(周六)晚8點，南京大學在讀博士生、字節AI Lab NLP研究實習生—鄭在翔的Talk將準時在將門TechBeat技術社區開播！目前主流的神經機器翻譯模型主要是基於編碼器-解碼器框架的模型，使用極大似然估計來進行端到端的建模和學習。而這樣的方式可能不能很好地建模雙語互為譯文的平行句對的共同語義以及譯文的多樣變化。因此，一些研究者嘗試使用基於隱變量的模型來解決這個問題。此外，鄭在翔及字節跳動李磊團隊發現，隱變量模型還有解決神經機器翻譯中平行語料稀缺和更好地利用非平行語料的潛力。
  • 法國國立路橋學校在讀博士肖洋:非特定場景下的目標檢測和3D姿態...
    在BMVC 2019會議中，來自巴黎高科路橋大學的在讀博士肖洋提出一種泛化能力極強的基於深度學習的3D姿態估計方法。該方法利用目標物體的三維模型作為引導，不需要對特定的物體類別進行神經網絡訓練。同樣的網絡架構即可以直接對不同類別的物體進行姿態估計，也可以快速地應用在訓練過程中從未見過的全新物體上。
  • 清華「天機芯」團隊再發重磅研究！以全新類腦計算系統實現通用人工智慧
    當時，Nature總編斯基珀博士在接受新華社專訪時稱讚清華天機晶片的論文將人工智慧中的計算機科學研究與神經科學研究結合起來，是人工智慧領域的重要裡程碑。而晶片僅為硬體產物，與之配套的類腦計算架構是十分有必要的，這可實現類腦計算軟體和硬體之間的兼容，快速促進類腦計算的開發效率。
  • 澳門大學陳俊龍:無需深度結構的高效增量學習系統
    其中，寬度學習系統提供了一種深度學習網絡的替代方法，同時，如果網絡需要擴展，模型可以通過增量學習高效重建。單層前饋神經網絡（Single layer feedforward neural networks，SLFN）已被廣泛應用於分類和回歸等問題，因為它們可以全局地逼近給定的目標函數。一般來說，基於梯度下降的 SLFN 的泛化性能對某些參數設置，例如學習率，非常敏感。
  • 北大、微軟亞洲研究院:高效的大規模圖神經網絡計算
    新智元報導 來源：arXiv編輯：肖琴【新智元導讀】第一個支持圖神經網絡的並行處理框架出現了！北京大學、微軟亞洲研究院的研究人員近日發表論文，提出NGra，這是第一個支持大規模GNN的系統。GNN（圖神經網絡）代表了一種新興的計算模型，這自然地產生了對在大型graph上應用神經網絡模型的需求。但是，由於GNN固有的複雜性，這些模型超出了現有深度學習框架的設計範圍。此外，這些模型不容易在並行硬體（如GPU）上有效地加速。
  • 對話清華NLP實驗室劉知遠:NLP搞事情少不了知識庫與圖神經網絡
    在這一年中，清華大學副教授劉知遠和他所在的清華自然語言處理實驗室同樣在這個領域做出了很多成果，他們關注如何結合深度神經網絡與大型知識庫，並期望構建更多魯棒及可解釋性的自然語言理解系統。在這一篇文章中，機器之心採訪了劉知遠教授，他向我們介紹了 NLP 在過去一年的重要發展歷程，以及實驗室的重要研究成果與方向。
  • 逆勢而上的技術:圖神經網絡學習來了!
    你一定不會忽略它——圖神經網絡。相比傳統神經網絡，圖神經網絡的優勢非常明顯：1、非順序排序的特徵學習：GNN 的輸出不以節點的輸入順序為轉移的。因此，圖神經網絡在生物學、地圖、金融、搜索、推薦、高能物理學到社會科學和經濟學等領域的複雜關係建模和互動系統構建起到重要作用。例如，在社交軟體 Twitter 和 Facebook 等社交網絡上取得了顯著的成功。
  • 深度學習進入晶片領域,揭秘寒武紀神經網絡處理器
    在若干代表性神經網絡上的實驗結果表明，DianNao的平均性能超過主流CPU核的100倍，但是面積和功耗僅為1/10，效能提升可達三個數量級；DianNao的平均性能與主流GPGPU相當，但面積和功耗僅為主流GPGPU百分之一量級。DianNao的核心問題是如何讓有限的內存帶寬餵飽運算功能部件，使得運算和訪存平衡，從而達到高效能比。
  • 神經網絡和深度學習簡史(全)
    讓我告訴你，說來話長——這不僅僅是一個有關神經網絡的故事，也不僅僅是一個有關一系列研究突破的故事，這些突破讓深度學習變得比「大型神經網絡」更加有趣，而是一個有關幾位不放棄的研究員如何熬過黑暗數十年，直至拯救神經網絡，實現深度學習夢想的故事。
  • 迄今最大腦皮層神經網絡研究成果發布
    結合高通量功能成像技術製作的皮層神經元網絡，達到單細胞的解析度，其中每一根「線」及它們之間的連接都能看見，一些神經元根據它們在活腦中的活動方式被編成不同顏色。 據美國艾倫腦科學研究所消息，由該所和哈佛醫學院（HMS）、弗蘭德斯神經電子學研究所科學家（NERF）共同組成的國際研究團隊，在本周出版的《自然》雜誌上發表了迄今最大的腦皮層神經元連接網絡研究報告，揭示了腦網絡組織中的一些關鍵因素。
  • 變分自回歸神經網絡求解統計力學研究取得進展
    變分自回歸神經網絡求解統計力學研究取得進展 2019-03-06 理論物理研究所 物理研究所 在實際應用中，這些方法各有其優劣：MCMC擅長採樣玻爾茲曼分布，然而很難計算系統的熵和自由能；張量網絡方法和重整化群被廣泛用於計算配分函數和自由能，但是一般只適用于格點系統；平均場近似及相關的消息傳遞算法可以高效地給出系統的變分自由能，然而需要在較高的溫度下，或者系統拓撲結構滿足平均場近似的要求。
  • 清華教授顏寧緣何接受普林斯頓終身講席:怕故步自封而不自知
    清華教授顏寧緣何接受普林斯頓終身講席：怕故步自封而不自知 晉浩天/光明日報 2017-05-08 11:46