PyTorch更新!谷歌幫助開發,正式支持TensorBoard | 5大開源項目

2020-12-04 量子位

邊策 乾明 發自 凹非寺 量子位 報導 | 公眾號 QbitAI

大家又少了一個用TensorFlow的理由。

在一年一度的開發者大會F8上,Facebook放出PyTorch的1.1版本,直指TensorFlow「腹地」。

不僅宣布支持TensorFlow的可視化工具TensorBoard,還正式向工業界邁進,為生產環境改進了PyTorch處理分布式訓練的方式。

而且,根據Facebook介紹,開發這一版本的過程中谷歌還幫了不少忙。

科技媒體TechCrunch評論稱,雖然版本號只從1.0到1.1的變化,但依舊非常重要。

此外,圍繞著打造「開發和協作的AI社區」的願景,Facebook還介紹了5大開源工具。

同時,他們也分享了Facebook在自家程序中應用AI的情況,以及對AI研究的展望。

下面,我們一個個來看~

Pytorch大更新

與2018年12月正式發布的Pytorch1.0相比,這次發布的1.1版本提高了性能,並增加了新的模型理解和可視化工具,來提高可用性,還提供了新的API。

其中,最重要的功能是支持TensorBoard,它是谷歌為TensorFlow打造的可視化工具,能夠幫助開發人員評估和調試模型。

根據Facebook介紹,在開發這一功能的時候,他們與谷歌有非常密切的合作。

現在,Pytorch使用一個簡單的「from torch.utils.TensorBoard import SummaryWriter」命令來支持TensorBoard。

其他的更新還有:

Jit編譯器:改進了Just-in-time(JIT)編譯。包括各種錯誤的修復以及TorchScript中擴展的功能,例如對字典、用戶類和屬性的支持。新API:支持布爾張量,更好地支持自定義循環神經網絡。分布式訓練:改進了常見模型(如CNN)的性能,增加了對多設備模塊的支持,包括在仍使用分布式數據並行(DDP)的情況下跨GPU分割模型的能力,以及對並非所有參數都用於每次迭代的模塊的支持(如控制流,如自適應SoftMax等)。關於本次更新,Pytorch在下面的GitHub文檔中進行了詳細的解釋,請收好傳送門:https://github.com/pytorch/pytorch/releases/tag/v1.1.0

對於這次更新,PyTorch的產品經理Joe Spisa表示,他們並不是要將PyTorch變成金錢,而是希望PyTorch擁有一個社區。

他表示,現在這個社區正開始從一個以研究為中心的社區生產型的社區轉變,而且轉變速度也在快速增長。

PyTorch路線圖的下一步是,以更少的比特數運行神經網絡,實現更快的CPU和GPU性能,並支持AI從業者創建命名張量維數。

5大開源工具

為了更好地建設AI社區,今年的F8大會上,Facebook還開源了5大工具:Ax、BoTorch、idb、Memscout、Mvfst。

Ax

Ax是一個可訪問的通用自適應實驗平臺,用於管理、部署和自動化實驗。

該平臺利用BoTorch提供的最新進展,使開發人員更容易優化其產品和基礎設施。Ax還降低了貝葉斯優化(Bayesian optimization)、多臂老虎機(multiarmed bandit)和其他複雜實驗技術的門檻,幫助研究人員將想法從研究轉向生產。

地址:https://ax.dev/

BoTorch

BoTorch是PyTorch上的貝葉斯優化軟體庫,為Ax優化模型參數提供支持。

BoTorch將模塊化設計和PyTorch的自動微分特性基於蒙特卡羅的提取函數使用相結合,顯著提高了開發人員的效率。

BoTorch具有與任何PyTorch模型集成的能力,在貝葉斯優化和深度學習中實現高度靈活性、便利的研究。

地址:https://botorch.org/

以上兩種工具已經在Facebook內部大規模部署,Facebook用它們改善信息流推薦和視頻播放。

idb

idb(iOS development bridge)是自動化iOS模擬器和設備的命令行界面。它提供的簡單原始的API,輕鬆構建複雜的工作流。idb還有客戶機-伺服器架構,可以更容易地在一組機器之間分配工作。

地址:https://github.com/facebook/idb

Memscout

Memscout是一個分析工具,它是jemalloc內存分配器的伴侶。Memscout為正在運行的流程的解釋jemalloc統計文件(JSON格式)原始數據,並突出顯示相關指標。

它會發現分配器的低效率,並提供對流程內存分配模式的深入觀察,然後提供可用於快速診斷與內存相關的性能問題的統計信息。

地址:https://github.com/facebookincubator/memscout

Mvfst

Mvfst是QUIC傳輸協議的實現。mvfst的目標是構建最靈活、高性能的傳輸協議,讓應用程式可以適應網際網路上和數據中心內的用例。

它的特性包括流多路復用、0-RTT連接的建立,更好的損失恢復、從頭開始的安全性以及靈活的擁塞控制。

地址:https://github.com/facebookincubator/mvfst

用AI改善用戶體驗

Facebook信息流可以說是國外的「朋友圈」,裡面有太多的假新聞和有害信息,扎克伯格也因此受到美國國會質詢。

所以Facebook的AI工具一個重要的用途就是用來識別和處理社交網絡上有害的言論、照片和視頻。

一個具體例子是新的「最近鄰」算法。Facebook用這種算法發現色情暴力圖片比以前快8.5倍。

另一個例子是開源工具包LASER。Facebook用它來訓練單一模型以理解大量不同語言,而不必為每一種語言使用不同的模型,它可以檢測用戶是否發布違反社交網絡政策的言論。

在視頻中發現有害信息的難度比照片高出幾個數量級,Facebook的新技術能將其分解為短片段,去掉其中冗餘和不相關的內容。這種更有針對性的分析和訓練使得AI理解視頻更快,更準確。

One More Thing

目前,Facebook正在大力發展自監督學習技術,將未標記數據與少量標記數據結合使用,以提高機器學習的準確性。

所謂的「自監督學習」就是我們說的「無監督學習」。

Facebook首席AI科學家Yann LeCun說,把「自監督」說成「無監督」是具有誤導性的,因為自監督學習比監督學習使用更多的監督信號,並且遠遠超過強化學習。

自監督學習在自然語言處理方面取得了巨大成功。在LeCun看來,在圖像和視頻上使用這項技術未來幾年ML和AI的最大挑戰。

相關焦點

  • PyTorch v1.1 重大更新,TensorBoard已加入豪華套餐
    這些技術不僅構成了 Facebook 獲得盈利的技術基礎,Facebook 也宣稱它們可以幫助 Facebook 成為一個更安全、更具包容性、更公平的平臺。Facebook 對 AI 方面的成果也相當慷慨,不僅秉持著學術研究成果全面開放的作風,他們開發的深度學習框架 PyTorch 也易用、親民,在工業級應用領域大有趕超谷歌 TensorFlow 之勢。
  • 《PyTorch中文手冊》來了
    PyTorch 現在是 GitHub 上增長速度第二快的開源項目,在過去的 12 個月裡,貢獻者增加了 2.8 倍。而且,去年 12 月在 NeurIPS 大會上,PyTorch 1.0 穩定版終於發布。
  • PyTorch 1.7發布,支持CUDA 11、Windows分布式訓練
    該版本增添了很多新特性,如支持 CUDA 11、Windows 分布式訓練、增加了支持快速傅立葉變換(FFT)的新型 API 等。PyTorch 1.7 版本包含很多新的 API,如支持 NumPy 兼容的 FFT 操作、性能分析工具,以及對基於分布式數據並行(DDP)和基於遠程過程調用(RPC)的分布式訓練的重要更新。
  • Pytorch-Transformers 1.0 發布,支持六個預訓練框架,含 27 個預...
    Pytorch-Transformers 1.0,該項目支持 BERT, GPT, GPT-2, Transfo-XL, XLNet, XLM 等,並包含 27 個預訓練模型。哪些支持PyTorch-Transformers(此前叫做pytorch-pretrained-bert)是面向自然語言處理,當前性能最高的預訓練模型開源庫。
  • 2018 年度 GtiHub 開源項目 TOP 25:數據科學 & 機器學習
    隨著 ULMFiT、BERT 等項目在 GitHub 上進行開源,自然語言處理(NLP)迅速成為社區中談論最多的領域。我致力於將自己最大的努力貢獻給這麼棒的 GitHub 社區,在這一年中,我精心挑選了每位數據科學家都應該了解的 TOP 5 開源項目,並整理成了月度榜單系列。
  • 年度最大更新!PyTorch 0.4:完全改變API,官方支持Windows
    圖:PyTorch動態計算圖 - 來源:http://pytorch.org/about/以下為更新內容目錄:主要核心變更Tensor/Variable合併零維張量dtypes分布式訓練易於使用的Launcher utilityNCCL2後端C ++擴展Windows支持ONNX改進RNN支持性能改進Bug修復主要核心變化以下是用戶每天使用的最重要的核心功能的更新
  • 新版PyTorch 1.2 已發布:功能更多、兼容更全、操作更快!
    用戶現在可以在 pytorch.org 上(https://pytorch.org/get-started/locally/)開始使用這些版本。PyTorch 1.2通過使用 PyTorch 1.2,開源 ML 框架在生產應用方面向前邁出了一大步,並增加了一個改進的、更加完善的 TorchScript 環境。
  • TensorFlow與PyTorch之爭,哪個框架最適合深度學習
    那麼究竟哪種框架最適宜自己手邊的深度學習項目呢?本文作者從這兩種框架各自的功能效果、優缺點以及安裝、版本更新等諸多方面給出了自己的建議。如果你在讀這篇文章,那麼你可能已經開始了自己的深度學習之旅。如果你對這一領域還不是很熟悉,那麼簡單來說,深度學習使用了「人工神經網絡」,這是一種類似大腦的特殊架構,這個領域的發展目標是開發出能解決真實世界問題的類人計算機。
  • 語音識別開源工具PyTorch-Kaldi:兼顧Kaldi效率與PyTorch靈活性
    圖 2 是在本文寫作的時,GitHub 上 Kaldi 項目的「盛景」。圖 2. kaldi-asr但是,Kaldi 也有不盡如人意的地方,它依賴大量的腳本語言,而且核心算法使用 C++編寫的,對聲學模型的更新就不是一件容易的事情了,尤其是在需要改變各種神經網絡的結構時。
  • 重磅| Torch7團隊開源PyTorch:Python優先的深度學習框架
    進一步闡述如下:一個支持 GPU 的 Tensor 庫如果你使用 numpy,那麼你就使用過 Tensor(即 ndarray)。PyTorch 提供了支持 CPU 和 GPU 的 Tensor,可以極大地加速計算。
  • 迎來PyTorch,告別 Theano,2017 深度學習框架發展大盤點
    ,谷歌、Facebook、微軟等巨頭紛紛圍繞深度學習做了一系列研究,一直在支持開源深度學習框架的建設。GitHub 地址:https://github.com/pytorch/pytorchTensorFlow 遇強敵,引入動態圖機制等多個更新
  • 圖靈獎得主力推:PyTorch 1.3 今天發布
    PyTorch 官方同時還開源了很多新工具和庫。在開發者大會上,PyTorch 官方表示甚至微軟都將其列入了支持的深度學習框架中。PyTorch 1.3 項目地址:https://github.com/pytorch/pytorch/releases/tag/v1.3.0茁壯成長的 PyTorch由於 PyTorch 一直致力於滿足研究者的需求,因此它在不斷地進行版本迭代,現在已經成為開源社區僅次於 TensorFlow 的深度學習框架。
  • 谷歌助手iOS版更新:正式支持簡體中文
    IT之家3月29日消息 今日谷歌助手(Google Assistant)的iOS版獲得了1.5.5807版更新,終於帶來了簡體中文支持。儘管谷歌服務目前還不能在中國內地正常使用,但這對於中國用戶來說,絕對是一個好消息。
  • 國產開源這一年,好生熱鬧
    深度學習框架秉持著承上啟下的作用,上承應用,下接晶片,堪稱智能時代的核心支柱,它幫助開發者直接使用成熟的工具,大幅提高開發效率。開源深度學習框架之所以能夠成為各企業布局AI的重要選擇,也就不難理解了。AI發展,深度學習框架開源成為必然開源,是聚集開發者最簡單且有效的方式。企業可以圍繞開源框架構建技術人才團隊,研發新技術,打造業務生態閉環。
  • 百度開源2020年度報告:兩大開源平臺、九個捐贈項目
    導讀「從 2009年大規模定製 Hadoop到 2013年第一個前端可視化產品 ECharts率先開源,再到2016年和2017年分別正式對外開源飛槳(PaddlePaddle)、Apollo兩大平臺,截止目前,百度已在Github主導的18個開源組織累計開源項目1,023個、社區貢獻者20,000+、獲得Star總數210,000+。
  • 微軟宣布WPF、Windows Forms和WinUI這3個流行框架正式開源
    微軟高管在12月5日的Microsoft Connect();2018年的活動上興奮地宣布新的開源計劃。這表明,微軟3個最流行的Windows框架正在迎來開源。根據微軟的說法,該版本旨在幫助開發人員更快,更輕鬆地啟動和恢復編碼。此外,Visual Studio 2019還將增加更多的編碼空間、更多的重構能力和更智能的調試。
  • 程式設計師為教師妻子開發專屬應用;2020 最佳開源項目出爐;中國構建全...
    本周熱門項目  0、程式設計師為教師妻子開發應用:將 iPhone 變成文檔攝像頭  https://9to5mac.com/2021/01/06/iphone-document-camera-overviewer-zoom/  據 9to5Mac 報導,受疫情影響,老師和學生通過
  • Facebook 開源 3D 深度學習函數庫 PyTorch3D
    原標題:Facebook開源3D深度學習函數庫PyTorch3D來源:開源中國Facebook近日開源了將PyTorch用於3D深度學習的函數庫PyTorch3D,這是一個高度模塊化且經過優化的庫,具備獨有的功能,旨在通過PyTorch簡化3D深度學習。
  • Pytorch 0.3.0 發布,實現多方面提速,增加對ONNX支持
    一經發布,這款開源工具包就受到廣泛關注和討論,經過幾個月的發展,目前 PyTorch 已經成為從業者最重要的研發工具之一。經過將近一年的發展,日前,迎來了 PyTorch 0.3.0 版本。根據官方文檔的介紹,此次增加了多個函數和功能,多方面的性能均實現提升。
  • 機器之心年度盤點:2018年重大研究與開源項目
    更詳細的論文解讀可以查看:谷歌終於開源 BERT 代碼:3 億參數量,機器之心全面解讀 此外,BERT 的開源項目非常有誠意,谷歌研究團隊開放了好幾種預訓練模型,它們從英語到漢語支持多種不同的語言。很多開發者在這些 BERT 預訓練語言模型上做二次開發,並在不同的任務上獲得很多提升,BERT 開源項目將放在文章後面,並與其它開源庫一起介紹。