PyTorch 1.0 穩定版正式發布!

2021-02-25 新智元

來源:code.fb.com

編輯:肖琴

【新智元導讀】PyTorch 1.0 穩定版終於正式發布了!新版本增加了JIT編譯器、全新的分布式包、C++ 前端,以及 Torch Hub等新功能,支持AWS、谷歌雲、微軟Azure等雲平臺,一句話,強大!

昨天,在 NeurIPS 大會上,Facebook 正式發布 PyTorch 1.0 穩定版

這距離 PyTorch 1.0 預覽版發布僅僅過去了兩個月。PyTorch 1.0 預覽版首次發布是在 10 月份的 PyTorch 開發者大會,新增了面向生產的特徵和主要雲平臺的支持等功能,被認為 90% 的功能能經受住業界的考驗。

題外話,NeurIPS 大會上,同一天 TensorFlow 團隊和 PyTorch 團隊先後有一個演講,介紹他們的框架。網友表示,這就像現實版的 「Mac 和 PC 之爭」(PyTorch 是 Mac)。TensorFlow 2.0 將在 2019 年正式發布。

回到 PyTorch1.0,研究人員和工程師現在可以輕鬆地充分利用這個開源深度學習框架的新特性,包括一個用於 eager 和 graph execution 模型無縫轉換的 hybrid 前端,改進的分布式訓練,用於高性能研究的純 C++ 前端,以及與雲平臺的深度集成。

PyTorch團隊主要成員,包括賈揚清

此外,PyTorch 1.0 加速了 AI 從研究原型開發到生產部署的工作流程,並使其更容易入門。在過去幾個月,初學者通過各種教育項目快速開始使用 PyTorch,專家們構建各種創新項目,將框架擴展到從自然語言處理到概率編程的各個領域。

PyTorch 1.0 穩定版增加了一系列新功能,包括 JIT Compiler,全新的分布式包、C++ 前端,以及 Torch Hub。以及大量更新、新增特徵、bug修復等:

地址:

https://github.com/pytorch/pytorch/releases/tag/v1.0.0

JIT

JIT 是一組編譯器工具,用於縮小 PyTorch 在研究和生產上的鴻溝。它允許創建可以在不依賴 Python 解釋器的情況下運行的模型,並且可以更積極地優化這些模型。

使用程序注釋可以將現有模型轉換為 Torch 腳本,這是 PyTorch 可以直接運行的 Python 子集。模型代碼仍然是有效的 Python 代碼,並且可以使用標準 Python 工具鏈進行調試。

PyTorch 1.0 提供了兩種方法使現有代碼與 JIT 兼容的方法,torch.jit.trace 或 torch.jit.script。一旦加上注釋,Torch Script 代碼就可以被積極地優化,並且可以序列化,以便在新的 c++ API 中使用。這個 API 完全不依賴 Python。

全新的分布式包

torch.distributed 軟體包和 torch.nn.parallel.DistributedDataParallel 模塊由全新的、重新設計的分布式庫提供支持。新的庫的主要亮點有:

新的 torch.distributed 是性能驅動的,並且對所有後端 (Gloo,NCCL 和 MPI) 完全異步操作。

顯著的分布式數據並行性能改進,尤其適用於網絡較慢的主機,如基於乙太網的主機。

為 torch.distributedpackage 中的所有分布式集合操作添加異步支持。

在 Gloo 後端添加以下 CPU 操作:send,recv,reduce,all_gather,gather,scatter

在 NCCL 後端添加 barrier 操作

為 NCCL 後端添加 new_group 支持

C++ 前端

C ++ 前端是 PyTorch 後端的純 C ++ 接口,它遵循已建立的 Python 前端的 API 和體系結構。它旨在實現高性能、低延遲和裸機 C ++ 應用程式的研究。它提供了 torch.nn,torch.optim,torch.data 和 Python 前端的其他組件的對應版本。以下是兩種語言前端的比較:

作為 PyTorch 1.0 的一部分,我們發布的是標記有 「API Unstable」 的 C ++ 前端。這意味著它已準備好用於你的研究應用程式,但仍有一些不穩定,我們將在接下來的幾個版本中穩定下來。在此期間,API 的某些部分可能會發生大的更改。

Torch Hub

Torch Hub 是一個預訓練的模型庫,旨在促進研究的可重複性。

Torch Hub 支持使用簡單的 hubconf.py 文件將預訓練的模型(模型定義和預訓練的權重)發布到 github 存儲庫; 以 pytorch/vision 中的 resnet 模型為例,請參閱 hubconf for resnet models in pytorch/vision。

發布後,用戶可以使用 torch.hub.load API 加載預先訓練的模型。更多詳細信息,請閱讀 torch.hub 文檔。

PyTorch 在 2017 年初首次推出,很快成為 AI 研究人員的熱門選擇。他們發現,由於其靈活、動態的編程環境和用戶友好的界面,PyTorch 是快速實驗的理想選擇。從那時起,這個社區迅速發展起來。

PyTorch 現在是 GitHub 上增長速度第二快的開源項目,在過去的 12 個月裡,貢獻者增加了 2.8 倍。

此外,Facebook 提供了一系列教育項目,幫助開發人員更輕鬆地學習如何使用 PyTorch 構建、訓練和部署機器學習模型。

上個月,Udacity 和 Facebook 聯合推出一門新課程——PyTorch 深度學習入門 (Introduction to Deep Learning with PyTorch),以及 PyTorch Challenge Program,該項目旨在為繼續接受 AI 教育提供獎學金。僅僅幾個星期,已經有全球各地成千上萬的學生在網上積極學習。

所有人都可以通過 Udacity 網站免費獲得完整的課程,更高級的 PyTorch 課程則將很快通過 Udacity 的 AI 納米學位提供。

除了在線教育課程,fast.ai 等組織還提供了一些軟體庫來支持開發人員學習如何使用 PyTorch 構建神經網絡。fastai 是一個簡化訓練神經網絡的庫,自從兩個月前發布以來,已經在 GitHub 上獲得了 10000 顆星星。

我們非常高興看到開發人員使用這個庫取得的成功。例如,Santhosh Shetty 使用 fastai 將災後損傷等級分類的準確率提高了一倍;Alena Harley 將腫瘤正常測序的假陽性率降低了 7 倍;Jason Antic 創建了一個名為 DeOldify 的項目,使用深度學習對舊圖像進行著色和恢復。

圖片由 Jason Antic 提供

PyTorch 已經被應用於從圖像識別到機器翻譯的各種用例。因此,我們看到來自開發者社區的各種各樣的項目,這些項目擴展並支持了 PyTorch 開發。其中一些項目包括:

此外,Facebook 的團隊也在為 PyTorch 構建和開源項目,比如 Translate,這是一個基於 Facebook 機器翻譯系統的用於訓練 sequence-to-sequence 模型的庫。

為了使 PyTorch 更易於訪問和用戶友好,我們繼續深化與雲平臺和服務的合作,例如 Amazon Web servicesGoogle Cloud Platform Microsoft Azure

就在最近,AWS 推出了支持 PyTorch 的 Amazon SageMaker Neo,允許開發人員在 PyTorch 中構建機器學習模型,一次訓練後即可部署到雲或邊緣的任何地方,並且性能提高了兩倍。

開發人員現在還可以通過創建一個新的深度學習 VM 實例,在谷歌雲平臺上試用 PyTorch 1.0。

此外,微軟的 Azure 機器學習服務現在已經普遍可用,它允許數據科學家在 Azure 上無縫地訓練、管理和部署 PyTorch 模型。使用該服務的 Python SDK, PyTorch 開發人員可以利用按需分布式計算功能,用 PyTorch 1.0 大規模訓練模型,以加速生產過程。

連結:

https://code.fb.com/ai-research/pytorch-developer-ecosystem-expands-1-0-stable-release/

https://github.com/pytorch/pytorch/releases/tag/v1.0.0

【加入社群】

新智元 AI 技術 + 產業社群招募中,歡迎對 AI 技術 + 產業落地感興趣的同學,加小助手微信號:aiera2015_2  入群;通過審核後我們將邀請進群,加入社群後務必修改群備註(姓名 - 公司 - 職位;專業群審核較嚴,敬請諒解)。

相關焦點

  • Redmi Note7 Pro已推送MIUI 11.0.1穩定版更新
    近日,有消息稱,Redmi Note7 Pro已經推送MIUI 11.0.1穩定版更新。更新日誌顯示,Redmi Note7 Pro  在最新的 MIUI 11.0.1 穩定版系統中,更新至 2020 年 5 月谷歌安全補丁,提升了系統的安全性。
  • ...穩定版正式發布:小窗模式 2.1、mEngine 3.0 遊戲振感、動態壁紙
    IT之家5月28日消息 近期,魅族科技Flyme官方宣布,Flyme 8.1 穩定版正式發布,帶來了小窗模式 2.1、One Mind 4.0、mEngine 3.0 遊戲振感、息屏顯示、指紋解鎖、動態壁紙,IT之家獲悉,還帶來了Aicy語音助手全新人聲、輸入法改進、微信智能選圖、相機升級等。
  • iOS12.4 A12 穩定版越獄插件即將發布
    今天越獄大神Pwn20wnd在推特公布,目前unc0ver 3.7.0 beta 2 越獄工具正在測試中,測試完畢後,即將發布 iOS12.4
  • miui開發版內測更新解析,miui12穩定版發布!
    halo,各位小夥伴們大家晚上好呀,一起來看看本期的開發版內測更新內容吧: 今日已知問題: 部分機型在開機引導、切換分身空間、退出兒童模式等少量場景下會出現設置停止運行的問題,不影響設置功能使用,我們會在明天版本修復; 今天小米CC9e將發布
  • 魅族手機Flyme 8.1穩定版正式發布 帶來Aicy語音助手全新人聲等
    5月28日消息 近期,魅族科技Flyme官方宣布,Flyme 8.1 穩定版正式發布,帶來了小窗模式 2.1、One Mind 4.0、mEngine 3.0 遊戲振感、息屏顯示、指紋解鎖、動態壁紙。還帶來了Aicy語音助手全新人聲、輸入法改進、微信智能選圖、相機升級等。
  • 基於Pytorch的開源電影分析工具箱
    項目網站:http://movienet.site/Movienet 包含1.1k 電影,60k預告與375k的meta信息,擁有豐富的對演員、場景的標註,並提供了檢測識別、場景分割、電影類型預測等不同類型的任務。
  • 算法小白的pytorch筆記(2)
    ,這裡也按照這個思路對不同維度的張量進行討論,首先先說說向量的索引1.3.1 向量的索引和切片pytorch裡的向量其實就是一維張量,對於一維張量,我們可以直接用[star:end:step]取出對應的元素,下面是案例t1 = torch.arange(9)print(t1[0
  • HarmonyOS版可通過華為手機助手回退到EMUI 11.0官方穩定版
    原標題:華為官方教程:以 P40 為例,鴻蒙 OS 2.0 Beta 版本回退到 EMUI 11 穩定版   12月16日消息 華為在今天舉行 HarmonyOS 2.0 手機開發者 Beta 活動。現場正式發布了 HarmonyOS 2.0 手機開發者 Beta 版本。
  • 魅藍Metal收到Flyme 6.3.5.0A穩定版更新推送 新增預裝咪咕閱讀
    原標題:五年前發布的魅藍 Metal 現已獲推 Flyme 6.3.5.0A 穩定版更新   9月26日消息  據網友投遞,魅藍 Metal 今日收到了 Flyme 6.3.5.0A 穩定版的系統更新推送。   此次更新包體積為 150.26MB,調整了安全管控、鎖屏畫報開啟策略、新增預裝咪咕閱讀。
  • 小米11推送MIUI 12.0.17.0穩定版 更新什麼內容
    據網友反饋,小米 11 手機開始推送 MIUI 12.0.17.0.RKBCNXM 穩定版更新。在新版系統中,小米 11修復了虛擬 AB 分區異常重啟後判斷異常,導致 OTA 啟動失敗問題。  我們獲悉,此外,小米 11 還優化了個別場景下手機滅屏偶現噪聲的問題,優化個別三方 App 因為兼容性以及內存分配異常導致無響應問題。
  • Chrome 86 穩定版發布
    Chrome 86 穩定版已發布,值得開發者注意的新特性有:File System Access(文件系統訪問)
  • 重磅 | PyTorch中文版官方教程來了,附pdf下載
    教程作者來自 pytorchchina.com。教程網站:http://pytorch123.com教程裡有什麼教程根據 PyTorch 官方版本目錄,完整地還原了所有的內容。包括簡單的環境搭建、快速入門相關 API、高級操作、圖像處理實戰、文本處理實戰、GAN 和強化學習等,基本涵蓋了目前所有深度學習相關的知識點。
  • MIUI12 20.7.2內測開發版更新,第2批MIUI12穩定版推送7月見!
    MIUI12穩定版才剛剛開始正式推送,進入7月後MIUI又接連發布了MIUI12 20.7.1和MIUI12 20.7.2兩個內測開發版。不過這兩個版本都是對一些小問題的修修補補,並沒有帶來大的驚喜。就在剛剛,MIUI官方發布了一則開發版內測公告,主要提及了以下的5個問題。看來MIUI系統開發人員的任務量還是非常重的。
  • 騰訊、TikTok回應美國禁令;iOS/iPadOS 14出Bug;GitHub CLI 1.0 發布
    Oracle 開源 Java 機器學習庫 TribuoThunderbird 78.2 正式加入對 OpenPGP 的支持GitHub CLI 1.0 發布國內要聞螞蟻集團科創板上市申請獲批,上市又向前邁了一步9月18日,上交所發布公告,同意螞蟻集團科創板上市申請
  • 福利,PyTorch中文版官方教程來啦(附下載)
    教程作者來自 pytorchchina.com。 教程網站:http://pytorch123.com 為了方便讀者朋友們 本地查看,幫大家打包好了一份PyTorch中文版官方教程 PDF版本。附上PDF雲盤下載連結,歡迎添加小助手領取資料,還可以進入pytorch官方交流群領取資源,群裡還有更多資料,歡迎學習!(群裡討論氛圍很好,人數有上限,可以儘早添加)
  • 一周辣評燴:索尼手機自燃起火傷人;OPPO低端機售價1300;高通涉嫌壟斷被罰60億;360OS 3.0穩定版10月發布
    更新說明只有一項,底包正式升級到安卓8.0奧利奧。不過,獲準升級的是封閉內測通道的用戶,因為存在較多BUG,公測需要等待9月底。如果想升級的話,需要注意,Wi-Fi、NFC、藍牙等都基本殘廢,內測的穩定版需要9月中旬才能見到。
  • 讓PyTorch訓練速度更快,你需要掌握這17種方法
    參考文檔:https://pytorch.org/docs/stable/optim.html2.在 DataLoader 中使用多個 worker 和頁鎖定內存當使用 torch.utils.data.DataLoader 時,設置 num_workers > 0,而不是默認值 0,同時設置 pin_memory=True,而不是默認值 False。
  • Google Chrome 84.0.4147.135穩定版迎來更新 新增喚醒鎖定功能
    Google Chrome 84.0.4147.135 穩定版今日迎來更新,此版主要是一些開發者工具和Web API更新,用戶可以使用「應用程式圖標快捷方式」(App Icon Shortcuts)在應用程式中啟動任務。
  • 一加5/5T 安卓 10 穩定版推送:全新 UI 設計
    IT之家5月27日消息 一加手機昨天發布了Hydrogen OS(氫OS)5 月搶鮮快訊,OnePlus 5 / 5T Android 10 穩定版來了,全新升級到安卓10版本,帶來了全新UI設計,更輕快流暢;全新個性化設置,支持圖標形狀更改應用到快捷設置;新增位置信息管理權限,支持僅在使用該應用時允許
  • HBase 2.0版本正式發布
    在1.0版本正式發布之前,我們看看幾個比較大的版本相關信息:- 0.90.0版本於2011年1月19日發布,共包含1028個Issues- 0.92.0版本於2012年1月23日發布,共包含695個Issues。- 0.94.0版本於2012年5月14日發布,共包含423個Issues。