Torch7 開源 PyTorch:Python 優先深度學習框架

Torch7 團隊開源了 PyTorch。據官網介紹，PyTorch 是一個 Python 優先的深度學習框架，能夠在強大的 GPU 加速基礎上實現張量和動態神經網絡。

PyTorch 是一個 Python 軟體包，其提供了兩種高層面的功能：

如有需要，你也可以復用你最喜歡的 Python 軟體包（如 numpy、scipy 和 Cython）來擴展 PyTorch。目前這個版本是早期的 Beta 版，我們很快就會加入更多的功能。

PyTorch 介紹

在粒度層面（granular level）上，PyTorch 庫包含了以下組件：

使用 PyTorch 的原因通常有二：

進一步闡述如下：

一個支持 GPU 的 Tensor 庫

如果你使用 numpy，那麼你就使用過 Tensor（即 ndarray）。

PyTorch 提供了支持 CPU 和 GPU 的 Tensor，可以極大地加速計算。

我們提供了各種各樣的用於加速的張量例程（tensor routine），可以滿足你的各種科學計算需求，比如 slicing、索引、數學運算、線性代數、reduction。而且它們非常快！

動態神經網絡：基於 tape 的 autograd

PyTorch 有一種獨特的神經網絡構建方法：使用和重放 tape recorder。TensorFlow、Theano、Caffe 和 CNTK 等大部分框架對世界的視角都是靜態的，讓人們必須先構建一個神經網絡，然後一次又一次地使用同樣的結構；如果要想改變該網絡的行為，就必須完全從頭開始。

但使用 PyTorch，通過一種我們稱之為「Reverse-mode auto-differentiation（反向模式自動微分）」的技術，你可以零延遲或零成本地任意改變你的網絡的行為。我們靈感來自關於這一主題的許多研究論文以及當前和過去的研究成果，比如 autograd、autograd、Chainer 等。

儘管這項技術並非 PyTorch 獨有，但它仍然是到目前為止最快的實現。你能為你的瘋狂研究獲得最高的速度和最佳的靈活性。

Python 優先

PyTorch 不是簡單地在整體 C++框架上綁定 Python。它深入構建在 Python 之上。你可以像使用 numpy / scipy / scikit-learn 那樣輕鬆地使用 PyTorch。你可以用你喜歡的庫和包（如 Cython 和 Numba）在 Python 中編寫新的神經網絡層。我們的目標是儘量讓你不用重新發明輪子。

命令式體驗

PyTorch 的設計思路是線性、直觀且易於使用。當你需要執行一行代碼時，它會忠實執行。PyTorch 沒有異步的世界觀。當你打開調試器，或接收到錯誤代碼和 stack trace 時，你會發現理解這些信息是非常輕鬆的。Stack-trace 點將會直接指向代碼定義的確切位置。我們不希望你在 debug 時會因為錯誤的指向或異步和不透明的引擎而浪費時間。

快速精益

PyTorch 具有輕巧的框架。我們集成了各種加速庫，如 Intel MKL、英偉達的 CuDNN 和 NCCL 來優化速度。在其核心，它的 CPU 和 GPU Tensor 與神經網絡後端（TH、THC、THNN、THCUNN）被編寫成了獨立的庫，帶有 C99 API。

這種配置是成熟的，我們已經使用了多年。

因此，PyTorch 非常高效——無論你需要運行何種尺寸的神經網絡。

在 PyTorch 中，內存的使用效率相比 Torch 或其它方式都更加高效。我們為 GPU 編寫了自定義內存分配器，以保證深度學習模型在運行時有最高的內存效率，這意味著在相同硬體的情況下，你可以訓練比以前更為複雜的深度學習模型。

輕鬆拓展

編寫新的神經網絡模塊，或與 PyTorch 的 Tensor API 相接的設計都是很直接的，不太抽象。

你可以使用 Torch API 或你喜歡的基於 numpy 的庫（比如 Scipy）來通過 Python 寫新的神經網絡層。

如果你想用 C++ 寫網絡層，我們提供了基於 cffi（http://cffi.readthedocs.io/en/latest/）的擴展 API，其非常有效且有較少的樣板文件。

不需要寫任何 wrapper code。這裡有一個示例：https://github.com/pytorch/extension-ffi

安裝

二進位

conda install pytorch torchvision -c soumith

來自源

Anaconda 環境的說明。

如果你想要用 CUDA 支持編譯、安裝：

NVIDIA CUDA 7.5 或之上的版本

NVIDIA CuDNN v5.x

安裝可選依賴包

export CMAKE_PREFIX_PATH=[anaconda root directory]

conda install numpy mkl setuptools cmake gcc cffi

conda install -c soumith magma-cuda75 # or magma-cuda80 if CUDA 8.0

安裝 PyTorch

export MACOSX_DEPLOYMENT_TARGET=10.9 # if OSX

pip install -r requirements.txt

python setup.py install

開始使用

從以下三點開始學習使用 PyTorch：

教程：開始了解並使用 PyTorch 的教程（https://github.com/pytorch/tutorials）。

案例：跨所有領域的輕鬆理解 PyTorch 代碼（https://github.com/pytorch/examples）。

API 參考：http://pytorch.org/docs/

交流

論壇：討論實現、研究等（http://discuss.pytorch.org）

GitHub 問題反饋：bug 通知、特徵要求、安裝問題、RFC、想法等。

Slack：通常聊天、在線討論、合作等（https://pytorch.slack.com/）。

郵件訂閱沒有騷擾信件、單向郵件推送 PyTorch 的重要通知。訂閱：http://eepurl.com/cbG0rv。

發布和貢獻

PyTorch 的發布周期（主版本）為 90 天。目前的版本是 v0.1.6 Beta，我們期望在發布前儘量減少 bug。如果你發現了錯誤，歡迎向我們提交：

https://github.com/pytorch/pytorch/issues

我們歡迎所有形式的貢獻。如果你希望幫助解決 bug，請直接上手，無需多作討論。

如果你願意為 PyTorch 提供新功能、實用函數或核心擴展，請先開一個 issue 與大家討論一下。請注意：在未經討論的情況下提交的 PR 可能會導致退回，因為我們可能會採取不同的解決方式。

在下一個版本中，我們計劃推出三大新功能：

分布式 PyTorch

（這裡已經有一個嘗試性的實現了：https://github.com/apaszke/pytorch-dist)

反反向（Backward of Backward）：在反向傳播的過程中進行過程優化。一些過去和最近的研究如 Double Backprop 和 Unrolled GANs 會需要這種特性。

用於 autograd 的 Lazy Execution Engine：這將允許我們可以通過引入緩存和 JIT 編譯器來優化 autograd 代碼。

開發團隊

PyTorch 是一個社區驅動的項目，由經驗豐富的工程師和研究者開發。

目前，PyTorch 由 Adam Paszke、Sam Gross 與 Soumith Chintala 牽頭開發。其他主要貢獻者包括 Sergey Zagoruyko、Adam Lerer、Francisco Massa、Andreas Kopf、James Bradbury、Zeming Lin、田淵棟，Guillaume Lample、Marat Dukhan、Natalia Gimelshein 等人。

稿源：機器之心