PyTorch 1.7發布，支持CUDA 11、Windows分布式訓練

本文由機器之心報導

昨日，PyTorch 團隊發布 PyTorch 1.7 版本。該版本增添了很多新特性，如支持 CUDA 11、Windows 分布式訓練、增加了支持快速傅立葉變換（FFT）的新型 API 等。

PyTorch 1.7 版本包含很多新的 API，如支持 NumPy 兼容的 FFT 操作、性能分析工具，以及對基於分布式數據並行（DDP）和基於遠程過程調用（RPC）的分布式訓練的重要更新。

此外，一些特性也更新為穩定版，包括自定義 C++ 類、內存分析器、通過自定義類張量對象進行擴展、RPC 中的用戶異步函數，以及 torch.distributed 中的許多其他特性（如 Per-RPC 超時、DDP dynamic bucketing、RRef helper）。

本次更新的亮點包括：

• CUDA 11 得到 PyTorch 官方支持；

• 對 autograd 分析器，更新和添加了 RPC、TorchScript 和堆棧跟蹤（Stack trace）的分析和性能；

• （測試版）通過 torch.fft 支持 NumPy 兼容的 FFT 操作；

• （原型版）支持英偉達 A100 GPU 和原生 TF32 格式；

• （原型版）支持 Windows 系統上的分布式訓練。

• torchvision

• （穩定版）transforms 支持張量輸入、批處理計算、GPU 和 TorchScript

• （穩定版）JPEG 和 PNG 格式的原生圖像 I/O

• （測試版）新型視頻讀取器 API

• torchaudio

• （穩定版）增加了對語音錄製（wav2letter）、文本轉語音（WaveRNN）和源分離（ConvTasNet）的支持

（註：從 PyTorch 1.6 版本開始，PyTorch 特性分為 Stable（穩定版）、Beta（測試版）和 Prototype（原型版）。

新特性

PyTorch 1.7 相比之前版本，增加了很多新特性，包括 Python API、C++ API、Autograd、CUDA、量化等多個方面。

例如 Python API 增添了多個新的 namespace、operator 以及 API 擴展，CUDA 增加了 TF32 支持等，量化方面增加了新的量化操作、支持 FP16 量化等。

PyTorch 1.7 部分新特性，詳情參見 https://github.com/pytorch/pytorch/releases/tag/v1.7.0。

開發者對 PyTorch 1.7 的態度

有開發者對 PyTorch 1.7「支持 Windows 上的分布式訓練」這一新功能表示讚賞：

以及樂見於「PyTorch 對 CUDA 11 的支持」：

依然有人趁機表白 PyTorch，並列出偏好 PyTorch 的原因，如報錯易讀、代碼直觀、易於實驗。

當然，版本更迭的路似乎永無止境。有開發者提出了自己的需求，例如 fp32 卷積、TensorFlow 有而 PyTorch 沒有的 Semantic Versioning：

此時距離 PyTorch 1.6 版本發布僅三個月，不知道 PyTorch 的下一個版本又將帶給我們哪些驚喜。

參考連結：

https://pytorch.org/blog/pytorch-1.7-released/https://github.com/pytorch/pytorch/releases/tag/v1.7.0https://www.reddit.com/r/MachineLearning/comments/jj4sr7/d_pytorch_17_released_w_cuda_11_new_apis_for_ffts/com

PyTorch 中文版官方教程來了。

PyTorch 是近年來較為火爆的深度學習框架，然而其中文版官方教程久久不來。近日，一款完整的 PyTorch 中文版官方教程出爐，讀者朋友可以更好的學習了解 PyTorch 的相關細節了。教程作者來自 pytorchchina.com。

教程網站：http://pytorch123.com

如果不想自己下載，請通過下面方式獲取pdf資料：

回復「pytorch」獲取pdf和代碼