騰訊優圖開源深度學習推斷框架TNN - 軟體與服務 - 中國軟體網...

2021-01-11 中國軟體網
6月12日消息,騰訊優圖實驗室宣布開源新一代移動端深度學習推理框架TNN。騰訊優圖希望通過底層技術優化幫助用戶實現人工智慧在多個不同平臺的輕量部署落地。

據悉,基於TNN,開發者能夠輕鬆將深度學習算法移植到手機端高效的執行,開發出人工智慧 APP,將 AI 帶到指尖。

中國軟體網了解到,TNN是騰訊優圖針對手機端推出的高性能、輕量級移動端推理框架,其在設計之初便將移動端高性能作為核心理念。在開發上,TNN基於騰訊優圖在深度學習方面的技術積累,並借鑑了業內主流框架優點,在2017年開源的ncnn框架進行了重構升級。

得益於在GPU深度調優、ARM SIMD深入彙編指令調優、低精度計算等技術手段上的提升,TNN在多款主流平臺上的性能不凡。騰訊優圖也公布了在驍龍845/835/615以及麒麟970平臺上,TNN與MNN, ncnn框架的性能對比。

對此,騰訊優圖表示,低精度計算的運用對TNN的性能提升發揮了重要作用。TNN引入了INT8、 FP16、 BFP16等多種計算低精度的支持,相比大部分僅提供INT8支持的框架,不僅能靈活適配不同場景,還讓計算性能提升。

數據顯示,TNN通過採用8bit整數代替float進行計算和存儲,模型尺寸和內存消耗均減少至1/4,在計算性能上提升50%以上。同時引入arm平臺BFP16的支持,相比浮點模型,BFP16使模型尺寸、內存消耗減少50%,在中低端機上的性能也提升約20%。

同時,騰訊優圖表示通用、輕便是TNN的另一亮點。TNN設計了與平臺無關的模型表示,為開發人員提供統一的模型描述文件和調用接口,支持主流安卓、iOS等作業系統,適配CPU、 GPU、NPU硬體平臺。

此外,TNN通過ONNX可支持TensorFlow, PyTorch, MXNet, Caffe等多種訓練框架,目前支持ONNX算子超過80個,覆蓋主流CNN網絡。TNN所有算子均為源碼直接實現,不依賴任何第三方,接口易用,切換平臺僅需修改調用參數即可。

中國軟體網認為,人工智慧落地難的很重要原因就是要求專業性高、算力充裕以及設施笨重。TNN很好地規避了這些,但也不難看出,TNN的場景更多適用於簡單、入門級的人工智慧。




版權聲明:

凡本網註明」來源:中國軟體網(http://www.soft6.com)」的所有作品,版權均屬於中國軟體網或崑崙海比(北京)信息技術有限公司,未經本網書面授權,不得轉載、摘編或以其它方式使用上述作品。

任何行業、傳播媒體轉載、摘編中國軟體網(http://www.soft6.com)刊登、發布的產品信息及新聞文章,必須按有關規定向本網站載明的相應著作權人支付報酬並在其網站上註明真實作者和真實出處,且轉載、摘編不得超過本網站刊登、轉載該信息的範圍;未經本網站的明確書面許可,任何人不得複製或在非本網站所屬的伺服器上做鏡像。

本網書面授權使用作品的,應在授權範圍內使用,並按雙方協議註明作品來源。違反上述聲明者,崑崙海比(北京)信息技術有限公司將追究其相關法律責任。

相關焦點

  • 騰訊優圖開源深度學習推理框架TNN 助力AI開發降本增效
    騰訊優圖開源深度學習推理框架TNN 助力AI開發降本增效 2020-06-10 16:58:07 來源:中國新聞網 作者:於曉 責任編輯:
  • 兩大晶片公司接連上市,開啟CPU軟體生態之戰 - 軟體與服務 - 中國...
    國際知名開源矩陣計算項目OpenBLAS發起人和主要維護者。2016年,創辦PerfXLab澎峰科技,提供智能邊緣計算解決方案和支持國產晶片的軟體生態產品/服務。2016年獲得中國計算機學會科學進步二等獎,2017年獲得中國科學院傑出科技成就獎(研究集體主要完成者之一),2018年獲得北京市雛鷹人才計劃。
  • 2020,「BBT」大戰一觸即發 - 軟體與服務 - 中國軟體網-推動ICT...
    中國軟體網記者查閱安卓市場,發現該款APP可以檢索到,並下載使用。毫無疑問,此次字節跳動正式推出的「頭條搜索」,面向全網展開搜索業務。據悉,百度文庫「輕鬆學」頻道整合了學齡前教育、小中高基礎教育、大學教育、執業資格考試和職場技能在內全年齡段學習資源。涵蓋直播課、學習視頻、試卷、導學案、拍照搜題等內容服務。學堂在線、學而思、資格考試網校等教育平臺的學習資源也收入其中。在移動端APP下方,頭條搜索一共設置了首頁、視頻、小視頻、個人登陸欄目,而百度搜索除了百度首頁、好看視頻,還有語音搜索功能、小遊戲。
  • 清華自研深度學習框架「計圖」開源!多項任務性能超過PyTorch
    原創 關注前沿科技 量子位乾明 發自 凹非寺量子位 報導 | 公眾號 QbitAIAI框架,又來重磅中國玩家。剛剛,清華自研的深度學習框架,正式對外開源。值得一提的是,這也是首個來自中國高校科研機構的開源深度學習框架,之前,業內來自「高校」的還有加拿大蒙特婁大學的Theano,UC伯克利的Caffe。與主流的深度學習框架TensorFlow、Pytorch不同,Jittor是一個完全基於動態編譯(Just-in-time)、使用元算子和統一計算圖的深度學習框架。
  • 騰訊優圖:做產業網際網路時代的π型實驗室
    12月30日,騰訊優圖2020年度溝通會於海南正式舉辦,騰訊優圖實驗室總經理、騰訊雲副總裁吳運聲、騰訊優圖實驗室副總經理黃飛躍、騰訊優圖實驗室總監吳永堅、騰訊優圖實驗室總監任博,騰訊研究院高級研究員徐思彥等大咖出席了活動,並就2020年的業務進展和人工智慧趨勢做了完整的解讀和分享。
  • 騰訊優圖推出卷積神經網絡深度學習算法模型
    騰訊優圖實驗室聯合廣東省肺癌研究所吳一龍教授/鍾文昭教授團隊,與清華大學以及國內多家中心呼吸科/放射科團隊等共同開發了基於卷積神經網絡算法的肺結節診斷模型,近日,該初步研究成果已被全球癌症領域知名醫學期刊《腫瘤學家》(《The Oncologist》)收錄並全文發表。
  • 騰訊優圖2020疫情下再出發!專利800+項,AI落地直面碎片化
    溝通會最後,智東西等少數媒體對騰訊優圖實驗室副總經理黃飛躍 、騰訊優圖實驗室總監任博及總監吳永堅進行了專門提問。    優圖在哪些方面取得了「突破」?  黃飛躍以點帶面地談到了多模態生物識別、泛人臉識別、防Deepfake人臉攻擊等具有代表性的領域。  在多模態地生物識別領域,優圖的技術目前從早期的光學人臉識別拓展到3D人臉識別,再到近紅外、掌紋、超聲波、熱紅外等技術加持,經歷了多輪迭代和深度融合。
  • 專訪騰訊雲機器學習平臺技術負責人:揭秘騰訊深度學習平臺DI-X背後...
    據雷鋒網了解,DI-X將基於騰訊雲的大數據存儲與處理能力,為其用戶提供一站式的機器學習和深度學習服務。馬化騰曾表示:「人工智慧、物聯網,甚至未來的無人駕駛、機器人等等,它的後臺的核心一定有一顆在雲端的大腦。」而對於騰訊而言,馬化騰所提及的雲端大腦正是構建與其騰訊雲服務之上。
  • 2020年成國內深度學習框架開源元年 曠視科技開源天元加速AI落地與...
    人工智慧時代,開源作為算法創新與迭代的重要驅動力,在深度學習領域發揮著至關重要的作用。全球諮詢機構IDC《中國深度學習平臺市場份額調研》指出,在AI技術使用方面,接受調研的企業和開發者中,86.2%選擇使用開源的深度學習框架。
  • AI 從業者該如何選擇深度學習開源框架丨雷鋒網公開課
    正如程序語言一樣,深度學習開源框架同樣各有優劣和適用的場景,那麼 AI 從業者該如何有針對性地選擇這些平臺來玩轉深度學習?本期公開課特邀了先後在谷歌、亞馬遜、微軟供職的機器學習科學家彭河森博士為大家講述《MXNet火了,AI從業者該如何選擇深度學習開源框架》。彭河森博士親眼見證並深入參與了這三家巨頭布局深度學習的過程。嘉賓介紹彭河森,埃默裡大學統計學博士。
  • 華為深度學習框架MindSpore正式開源:自動微分不止計算圖
    今年的華為開發者大會 HDC 2020 上,除了昇騰、鯤鵬等自研晶片硬體平臺之外,最令人期待的就是深度學習框架 MindSpore 的開源了。今天上午,華為 MindSpore 首席科學家陳雷在活動中宣布這款產品正式開源,我們終於可以在開放平臺上一睹它的真面目。
  • 用PyTorch做深度學習實驗!Facebook新框架Ax和BoTorch雙雙開源
    新智元報導 來源:towardsdatascience編輯:大明【新智元導讀】近日,Facebook開源了兩款基於PyTorch的實驗框架Ax和BoTorch。Ax是一個面向自適應實驗的理解、管理、部署和自動化任務的通用平臺,BoTorch則主要面向貝葉斯優化任務。這兩個框架旨在簡化PyTorch應用中的自適應實驗流程。
  • 深度學習框架哪家強?國產框架OneFlow做了一份測評報告
    機器之心報導機器之心編輯部近日,國產深度學習框架 OneFlow 發布了人工智慧方向深度學習領域的 DLPerf 測評報告。OneFlow 是一流科技自主研發、擁有完全自主智慧財產權的深度學習框架軟體,是國內首個由初創團隊研發並開源的 AI 框架,今年 7 月 31 日正式開源。OneFlow 獨創的自動數據模型混合併行、靜態調度、去中心化和全鏈路異步流式執行四大核心技術,使用軟體技術解決大數據、大模型、大計算所帶來的異構集群分布式橫向擴展挑戰,獲得了廣泛的業內關注。
  • 35 萬行代碼,曠視重磅開源天元深度學習框架 ,四大特性實現簡單開發
    全球AI開發框架又添一員,曠視開源「天元」  曠視天元開源之時,正值深度學習框架百花齊放的時代。  自2007年Theano誕生以來,經過十餘年發展,深度學習技術與應用突飛猛進,深度學習框架也處在不斷迭代與進化的過程;另一方面,開源的概念在全球範圍內越來越深入人心,這使得人工智慧開發依賴的環境安裝、部署、測試,以及不斷迭代改進準確性和性能調優的工作變得更加簡單,在人工智慧領域,開源深度學習框架已經成為開發者離不開的平臺和工具。
  • 萬字長文詳解騰訊優圖 CVPR 2019 入選論文
    今年有超過 5165 篇的大會論文投稿,最終錄取 1299 篇。此次,騰訊公司有超過 58 篇論文被本屆 CVPR 接收,其中騰訊優圖實驗室 25 篇、騰訊 AI Lab 33 篇,以下便是對騰訊優圖實驗室 25 篇被錄用論文的詳細介紹。1.
  • 中國工程院高文院士:為什麼中國要打造自己的 AI 開源開放生態?
    本次大會以「平臺築基、標準張脈、開源賦能」為主題,邀請了來自百度、騰訊、華為、鵬城實驗室、小米、微眾銀行等公司的產業界專家,與高文院士、黃鐵軍教授等多位學術界領袖,圍繞「AI 開源基礎設施及環境」、「深度學習與強化學習」、「聯邦學習與開源數據湖」、「5G+AI+AVS 及全國 AI 大賽」、「AI 開源教育與治理」、「Open Source Community Leadship」六大主題坐而論道,共同探討人工智慧的邊界和方向
  • 迎來PyTorch,告別 Theano,2017 深度學習框架發展大盤點
    深度學習是機器學習中一種基於對數據進行表徵學習的方法,作為當下最熱門的話題,谷歌、Facebook、微軟等巨頭紛紛圍繞深度學習做了一系列研究,一直在支持開源深度學習框架的建設。過去一年間,在這些巨頭的加持下,深度學習框架格局發生了極大改變:新框架橫空出世,舊的框架也逐漸退出歷史舞臺,而框架與框架之間的聯繫也更加緊密,生態更為開放。
  • 採用4大夥伴商業openEuler系統 華為開放開源壯大鯤鵬生態
    同時,華為攜手騰訊遊戲啟動在鯤鵬領域的全面合作,並與麒麟軟體、普華基礎軟體、統信軟體、中科院軟體所共同宣布基於openEuler的商用版本作業系統正式發布。華為雲與計算BG總裁侯金龍在主題研究中認為,計算產業發展的策略是「硬體開放,軟體開源,使能合作夥伴」。其中,華為聚焦做好晶片、板卡和主板,使能合作夥伴優先發展自有品牌的整機。
  • 通過對比深度學習各大框架的優缺點尋找最優
    開源的深度學習神經網絡正步入成熟,而現在有許多框架具備為個性化方案提供先進的機器學習和人工智慧的能力。那麼如何決定哪個開源框架最適合你呢?本文試圖通過對比深度學習各大框架的優缺點,從而為各位讀者提供一個參考。你最看好哪個深度學習框架呢?
  • 全球計算機視覺頂會CVPR 2020論文出爐:騰訊優圖17篇論文入選
    但是在一些劇烈變化的場景上,可能會違背無監督學習的目標,反而導致學習效果不好。這篇文章中,優圖提出了一種稱為「增廣正則化」的學習框架。該框架在一些常規學習框架基礎上,利用增廣變換的數據多做一次前向,並利用原始數據的變換預測作為監督。在文章中,優圖進一步拓展網絡,支持共享光流解碼器的多視圖輸入。在多個benchmark上,與其它的無監督方法比,以顯著的效果提升,取得了當前最好的正確率。