觀點| 別再使用pip安裝TensorFlow了!用conda吧~

2021-01-07 機器之心Pro

選自towardsdatascience

作者:Michael Nguyen

機器之心編譯

參與:路雪、思源

還在使用 pip 安裝 TensorFlow?試試 conda 吧,簡單方便安裝 TensorFlow,且能帶來更快的 CPU 性能。

conda 是一個開源包和環境管理系統,能夠跨平臺運行,在 Mac、Windows 和 Linux 上都可以運行。如果你還沒用過 conda,我推薦你立刻開始使用,因為它會讓管理數據科學工具變得更輕鬆。

以下是使用 conda 而不用 pip 安裝 TensorFlow 的兩大原因:

更快的 CPU 性能

conda TensorFlow 包使用面向深度神經網絡的英特爾數學核心函數庫(Intel MKL-DNN),我們從 TensorFlow 1.9.0 版本開始。該庫帶來了巨大的性能提升,詳見下圖:

圖源:https://www.anaconda.com/blog/developer-blog/tensorflow-in-anaconda/

如上所示,與 pip 安裝相比,conda 安裝可以帶來超過 8 倍的速度提升。這對於經常使用 CPU 進行訓練和推斷的人來說非常棒!作為一名機器學習工程師,我在將代碼 push 到 GPU 機器上之前,先使用 CPU 對代碼運行測試訓練。conda 安裝帶來的速度提升可以幫助快速迭代。我還在 CPU 上進行大量推斷,因此這有助於我的模型性能。

MKL 庫不僅加速 TensorFlow 包,還能加速其他廣泛使用的庫,如 NumPy、NumpyExr、SciPy 和 Scikit-Learn。

GPU 版本的安裝也更加簡單

conda 安裝將自動安裝 GPU 支持所需的 CUDA 和 CuDNN 庫。pip 安裝則需要手動安裝這些庫。人人喜歡一步到位,尤其是在下載與安裝庫這方面。

使用 pip 安裝 TensorFlow 時,GPU 支持所需的 CUDA 和 CuDNN 庫必須單獨手動安裝,增加了大量負擔。而使用 conda 安裝 GPU 加速版本的 TensorFlow 時,只需使用命令 conda install tensorflow-gpu,這些庫就會自動安裝成功,且版本與 tensorflow-gpu 包兼容。此外,conda 安裝這些庫的位置不會與通過其他方法安裝的庫的其他實例產生衝突。不管使用 pip 還是 conda 安裝 GPU 支持的 TensorFlow,NVIDIA 驅動程序都必須單獨安裝。

對於 TensorFlow 的多個版本,conda 包可使用多種 CUDA 版本。例如,對於 TensorFlow 1.10.0 版本,conda 包支持可用的 CUDA 8.0、9.0 和 9.2 庫。而 pip 包僅支持 CUDA 9.0 庫。在不支持 CUDA 庫最新版本的系統上運行時,這非常重要。最後,由於這些庫是通過 conda 自動安裝的,用戶可輕鬆創建多個環境,並對比不同 CUDA 版本的性能。

快速啟動

我希望以上兩個原因足以說服你轉而使用 conda。下面是使用 conda 安裝所需的步驟。

pip uninstall tensorflow如果還沒有安裝 Anaconda 或 Miniconda,需要先安裝它們。Miniconda 僅安裝 conda 和一些依賴項,Anaconda 則會預安裝大量包。我更喜歡 Miniconda。使用 conda 安裝時,如果選擇 Anaconda,則伴隨 TensorFlow 同時安裝的還有 Anaconda 庫中的 1400 多個常用軟體包,它們會提供一個完整的數據科學環境。這些包安裝到單獨的 conda base 環境中,其內容不會影響到其他環境。

安裝好 conda 之後,嘗試以下命令:

conda install tensorflow此外,如果你想要 GPU 版本,那麼將上面一行中的 tensorflow 換成 tensorflow-gpu。除了使 TensorFlow 更快、更易於使用之外,conda 還提供其他工具組,使得整合工作流變得更加簡單。我最喜歡的功能是虛擬環境。

TensorFlowConda 安裝詳細參見:https://www.anaconda.com/blog/developer-blog/tensorflow-in-anaconda/MKL 優化方面的詳情參見:https://docs.anaconda.com/mkl-optimizations/。

最後,儘管 Anoconda 在官網上展示了使用 Conda 安裝的優勢與步驟,但 TensorFlow 官方網站尚未介紹使用 conda 進行安裝的方法:

原文連結:https://towardsdatascience.com/stop-installing-tensorflow-using-pip-for-performance-sake-5854f9d9eb0c

本文為機器之心編譯,轉載請聯繫本公眾號獲得授權。

相關焦點

  • Win10安裝GPU版本的Tensorflow 2.1
    1,創建envs環境conda create -n tf2.1 python==3.72,進入envs環境conda activate tf2.13,安裝cuda和cudnnconda install cudatookit=10.1conda install cudnn=7.64,安裝tensorflowpip install tensorflow
  • 小叮噹機器學習:Python3.6配置TensorFlow的GPU版詳細安裝教程
    我們新打開一個終端,激活路徑,再次輸入命令:conda 發現此時conda已可使用。這表明Anaconda已安裝成功。Step3.通過Anaconda安裝TensorFlow的GPU版我們通過在Anaconda下創建虛擬環境來安裝TesnorFlow的GPU版。
  • 人工智慧學習入門之TensorFlow2.2版本安裝(Windows10)
    在Anaconda裡面不僅僅包含Python,還包括conda和很多用於科學計算的Python庫。因此使用Anaconda可以方便後續學習。安裝Anaconda下載Anaconda我們可以從官方網站下載Anaconda。為了避免廣告的嫌疑,官方網站的具體地址大家可以通過搜尋引擎搜索。
  • 在Windows中安裝Tensorflow和Kears深度學習框架
    建立Tensorflow的Anaconda虛擬環境在一臺計算機中,我們常常需要安裝很多軟體,但是每個軟體所需要的Python的關聯模塊或版本不相同。例如,我們要使用Python開發開發網站系統,安裝的網站框架可能需要Python2.X的版本,但是安裝Tensorflow需要Python3.5的版本,此時就會發生版本不一致的問題。
  • 一文上手最新Tensorflow2.0系列|TensorFlow2.0安裝
    此時系統中有多個版本的Python,為了方便使用,我們配置一下環境變量,為每個版本的Python設置一個別名。另外為了後面方便使用「pip」來管理虛擬環境的包,我們為虛擬環境的「pip」命令也創建一個別名。
  • 基於RTX2060構建TensorFlow-gpu(keras)學習平臺
    (安裝基本的anconda版本,用的3.5.2)1.建立虛擬環境:conda create --name tf36gpu python=3.6 anaconda2. 激活虛擬環境:activate tf36gpu3. 開始菜單運行anaconda navigator檢查是否安裝了notebook(默認有安裝)三、安裝tensorflow/keras在激活的環境中安裝:1.
  • 如何用一個Python示例入門TensorFlow?
    最近,我向大家介紹了我的 side-project,是個用 C# 寫的簡單的神經網絡項目。正如我在那篇文章中提到的,給出的解決方案離最優方案還差的太遠。假如要達到專業化使用的程度,這個解決方案還需要使用更多的數學和矩陣乘法。幸運的是,Google裡有些聰明人創造了一個做這件事情的庫——TensorFlow。
  • linux-Anaconda+conda創建python-tensorflow虛擬環境
    Anaconda 安裝包可以前往官網下載地址,最新版本。不添加鏡像,或者添加鏡像(好處: 下載快, 自行選擇。)最後然後出現然後我們接下來創建虛擬環境接下來在虛擬環境中安裝tensorflowanaconda search -t conda tensorflow #查看版本和資源然後決定你想要下載哪個版本根據提示,我們可以執行然後繼續執行完~
  • 技術乾貨|tensorflow-gpu 1.4詳細安裝教程
    ://github.com/tensorflow/tensorflow/releases  2.  1.確定版本  TensorFlow GitHub 頁面查看依賴的版本:  https://github.com/tensorflow/tensorflow/releases  2.下載  下載地址:  https://developer.nvidia.com/cudnn  3.安裝
  • 用GPU加速深度學習: Windows安裝CUDA+TensorFlow教程
    如果使用錯誤的Python版本,將無法安裝TensorFlow!3.Visual Studio版本:我們使用的CUDA8.0不支持Visual Studio 2017,使用VS2017會報錯。正確的下載版本如下圖所示:6.所有必備文件:安裝步驟(建議使用管理員權限帳號)請儘量按照本文的安裝順序進行安裝,否則有可能運行失敗!最重要的是,安裝CUDA必須在安裝Visual Studio之後,這兩個順序不可以調換。1.安裝Python建議直接用Python的原生安裝包,安裝時建議勾選把Python加到系統路徑當中去。
  • 如何在AMD的GPU上運行TensorFlow?
    而 TensorFlow 實現則使用了 MIOpen,這是一個適用於深度學習的高度優化 GPU 例程庫。 AMD 提供了一個預構建的 whl 軟體包,安裝過程很簡單,類似於安裝 Linux 通用 TensorFlow。目前 Google 已發布安裝說明及預構建的 Docker 映像。下面,我們就來手把手地教大家。
  • 【阿星的學習筆記(1)】如何在windows安裝Theano +Keras +Tensorflow並使用GPU加速訓練神經網路
    本篇文章介紹如何安裝Theano 及Keras, Tensorflow深度學習的框架在windows環境上,並快速的使用Keras的內建範例來執行人工神經網絡的訓練。之前也有實作Tensorflow 及caffe在VM+ubuntu16.04環境安裝的經驗,甚至安裝在NVIDIA的Jetson TX1 的慘痛經驗XD(雖然後來也是有安裝成功)。
  • TensorFlow與PyTorch之爭,哪個框架最適合深度學習
    如果你要在自己的機器上安裝這些框架的最新版,你可以用原始碼 build 或通過 pip 安裝。PyTorch 安裝macOS 和 Linuxpip3 install torch torchvisionWindowspip3 install https://download.pytorch.org/whl/cu90/torch-1.1.0-cp36-cp36m-win_amd64.whlpip3 install https:
  • TensorFlow 攜手 NVIDIA,使用 TensorRT 優化 TensorFlow Serving...
    在 GPU 上使用 TensorFlow Serving 創建 ResNet在本次練習中,我們簡單地下載一個經過預訓練的 ResNet SavedModel:$ mkdir /tmp/resnet$ curl -s https://storage.googleapis.com/download.tensorflow.org
  • tensorflow2.1對應 GPU版本的安裝與卸載
    GTX965M顯卡,win10系統一、檢查tensorflow的Version假定tensorflow 安裝完成,安裝 tensorflow 請參考 集成環境,安裝超簡單>通過 命令行pythonimport tensorflow as tftf.
  • TensorFlow 2.0開源工具書,30天「無痛」上手
    雖說是「僅用 30 天即可掌握 TensorFlow 2.0」,但學習這個教程也需要一定的知識儲備作為前提。本書要求讀者具備一定的機器學習和深度學習理論基礎,同時使用過 Keras、Tensorflow1.0 或者 PyTorch 搭建訓練過模型。如果沒有任何基礎怎麼辦?
  • TensorFlow2.1正式版上線:最後一次支持Python2,進一步支持TPU
    在對作業系統的支持上,Windows 和 Linux 系統的 TensorFlow pip 版本默認支持 GPU。也就是說,如果使用 pip install tensorflow,則版本默認為是 gpu 版本(原始的 tensorflow-gpu 版本依然存在)。當然,不管有沒有英偉達版本的 GPU,tensorflow 依然能夠運行。
  • 基於TensorFlow2.0的中文深度學習開源書來了!GitHub趨勢日榜第一
    十三 發自 凹非寺 量子位 報導 | 公眾號 QbitAITensorFlow 2.0 發布已有一個半月之久,你會用了嗎?近日,一個叫做深度學習開源書的項目在火了。GitHub趨勢日榜排名全球第一,已斬獲2K+星。為什麼這麼火?因為這是一本基於TensorFlow 2.0 正式版的中文深度學習開源書。
  • 谷歌深度學習框架TensorFlow 1.0 正式發布,更快更穩定
    到目前為止,已經有超過6000個在線開源存儲庫項目使用到 TensorFlow了。而此次最新發布的TensorFlow 1.0毫無疑問又帶來了眾多創新:更快,TensorFlow 1.0 運行速度又得到進一步加快,XLA 為未來性能提升奠定了基礎,而且 tensorflow.org 新提供「tips & tricks」可以指導用戶對模型進行微調以實現最大速度。