為了性能,別再用pip安裝TensorFlow了!

2021-03-02 AI公園

點擊上方「AI公園」，關注公眾號，選擇加「星標「或「置頂」

作者：Michael Nguyen

編譯：ronghuaiyang

如果你使用CPU進行模型的訓練的話，那麼這篇文章對你非常有用，你可以通過一行命令的改變，獲得非常大的性能的提升。

別再使用pip安裝Tensorflow了！ 使用conda來代替，如果你不知道conda是什麼，它是一個運行跨平臺的開源包和環境管理系統。它適用於Mac、Windows和Linux。如果你還沒有使用conda，我建議你一開始就使用它，因為它使得管理數據科學工具變得更加有趣。

有兩個非常重要的原因，為什麼你應該使用conda而不是pip來安裝Tensorflow。

更快的CPU性能

conda Tensorflow包利用了用於深度神經網絡的Intel Math內核庫，或者是從版本1.9.0開始的MKL-DNN。這個庫極大地提高了性能。這張圖表可以證明這一點！

你可以看到，與pip安裝相比，conda安裝的性能可以提供8X以上的速度提升。對於仍然經常使用CPU進行訓練和推斷的人來說，這個非常好。作為一名機器學習工程師，我使用我的CPU在我的代碼上進行訓練，然後把它放到一個支持GPU的機器上。這種速度的增加將幫助我更快地迭代。當我可以的時候，我也會在CPU上做很多推斷，所以這將有助於我的模型的性能。

MKL庫不僅加快了Tensorflow包的速度，還加快了其他廣泛使用的庫的速度，如NumPy、NumpyExr、SciPy和Scikit-Learn！看看如何從下面的連結中進行設置。

GPU版本的簡單安裝

conda安裝將自動安裝GPU支持所需的CUDA和CuDNN庫。pip的安裝需要你手動完成。大家都喜歡一步到位，尤其是下載庫的時候。

快速開始

所以我希望這兩個原因足夠好可以讓你改用conda。如果你相信的話，現在就開始了。

  pip uninstall tensorflow
如果還沒有安裝Anaconda或Miniconda。Miniconda只是安裝conda和它的依賴性，而Anaconda會為你預先安裝很多包。我更喜歡Miniconda。安裝conda之後，請嘗試以下操作。
  conda install tensorflow
如果你想要用GPU的版本，請使用tensorflow-gpu替換tensorflow。
除了使用Tensorflow更快、更簡單之外，conda還提供了其他工具集，使其更容易集成到你的工作流中。我最喜歡的是它們的虛擬環境特性。您可以在這裡閱讀更多關於conda和tensorflow的信息(https://www.anaconda.com/blog/developer-blog/tensorflowinanaconda/)。以及關於MKL優化的更多信息(https://docs.anaconda.com/mkl-optimizations/)。希望這對你有所幫助，並一如既往地感謝你的閱讀！
英文原文：https://towardsdatascience.com/stop-installing-tensorflow-using-pip-for-performance-sake-5854f9d9eb0c
請長按或掃描二維碼關注本公眾號
喜歡的話，請給我個好看吧！

相關焦點

  • 觀點 | 別再使用pip安裝TensorFlow了!用conda吧~
    以下是使用 conda 而不用 pip 安裝 TensorFlow 的兩大原因：更快的 CPU 性能conda TensorFlow 包使用面向深度神經網絡的英特爾數學核心函數庫（Intel MKL-DNN），我們從 TensorFlow 1.9.0 版本開始。
  • TensorFlow 安裝手冊 — 使用 pip 安裝 TensorFlow
    可用安裝包tensorflow — 僅限 CPU 的當前版本（推薦給初學者）tensorflow - gpu — 支持 GPU 的當前版本（Ubuntu 和 Windows）tf - nightly — Nightly 僅為 CPU 構建（不穩定）tf - nightly - gpu — 使用 GPU
  • Tensorflow執行pip升級安裝的坑
    Tensorflow是Google的深度學習框架，目前在工業界和學術界都很受歡迎。剛推出的時候，Tensorflow的安裝和使用都非常麻煩。幸好迭代到目前，tensorflow(寫作本文時最新版本為1.2.0)的安裝已經非常簡便了。如果你的系統已經安裝好了Anaconda（安裝方式請參考《如何用Python做詞雲？》
  • Mac系統安裝TensorFlow
    執行以下任一命令安裝或更新：$ sudo easy_install --upgrade pip$ sudo easy_install --upgrade six安裝 TensorFlow假設你的 Mac 上已經裝好了必備的程序，按照以下步驟執行：1.執行以下任一命令安裝 TensorFlow：$ pip install tensorflow
  • 在NVIDIA Jetson TX2上安裝TensorFlow
    對於普通的Ubuntu、Windows等系統，TensorFlow提供了簡單的pip方式，分為有GPU和無GPU版本，但是pip安裝方式存在一個問題，TensorFlow執行CPU計算的效率低，沒有優化，所以最好的安裝方式是重新編譯源碼。另外，TX2的CPU是ARM架構，混合NVIDIA自家的CPU，所以目前只能重新編譯、再安裝TensorFlow。
  • Ubuntu 18.04安裝Tensorflow(CPU)
    打開老是出現閃退的問題，所以決定換個Ubuntu下繼續折騰tensorflow。先安裝好Ubuntu 18.04版本的系統（最好是Ubuntu的14.04版本以上），Ubuntu系統已經有了了Python 3.7.7.7，所以不需要再安裝Python了。
  • TensorFlow gpu版本安裝
    Tensorflow一款深度學習的框架，可以可視化訓練過程，方便進行模型的訓練以及部署，支持c/
  • 如何在 Windows 系統玩 TensorFlow
    為了驗證驅動安裝成功，可以在 cmd 窗口執行：> "C:\Program Files\NVIDIA Corporation\NVSMI\nvidia-smi.exe"如果能顯示 GPU 信息，則表示驅動安裝成功。
  • TensorFlow 調試程序(一)
    要了解如何使用 tfdbg 的圖形界面 (GUI)（即 TensorBoard 調試程序插件），請訪問相關 README 文件（https://github.com/tensorflow/tensorboard/blob/master/tensorboard/plugins/debugger/README.md）。
  • 深度學習框架Tensorflow系列之(一)開發環境部署
    1 用二進位安裝程序安裝二進位安裝程序位於Bazel的GitHub發行頁面上。安裝程序包含Bazel二進位文件1。還必須安裝一些其他庫才能使Bazel工作。     97 Mar 30 19:51 bazel-out -> /root/.cache/bazel/_bazel_root/27509bc6e2111f3da3abc402b7d8c310/execroot/org_tensorflow/bazel-outlrwxrwxrwx  1 root root     87 Mar 30 19:51 bazel-tensorflow -&
  • 一文上手最新TensorFlow2.0系列(二)
    2. 出現提示是否接受licenses，輸入「yes」回車。"alias apip="/home/lqhou/anaconda3/envs/apython/bin/pip"注意Anaconda的路徑要根據實際情況來填寫，「/home/lqhou/anaconda3」為作者系統上Anaconda的安裝路徑。
  • TensorFlow Serving入門
    準備TF Serving的Docker環境目前TF Serving有Docker、APT（二級制安裝）和源碼編譯三種方式，但考慮實際的生產環境項目部署和簡單性，推薦使用Docker方式。docker pull tensorflow/serving2.
  • 在 Ubuntu 16.04 中安裝支持 CPU 和 GPU 的 Google TensorFlow 神經網絡軟體
    CUDA 和 CuDNN（Nvidia 的計算庫）的安裝有點棘手，本指南會提供在實際安裝 TensorFlow 之前一步步安裝它們的方法。Nvidia CUDA 是一個 GPU 加速庫，它已經為標準神經網絡中用到的標準例程調優過。CuDNN 是一個用於 GPU 的調優庫，它負責 GPU 性能的自動調整。
  • 使用 tfdbg 調試 TensorFlow 代碼
    這時可以用滑鼠點擊「Tensor name」，查看相應的 tensor 詳情（等價為輸入命令：pt tensor_name）。下圖為點擊「Mul_1/y:0」之後的界面：為了提高辨識度，在程序中使用 tf api 構建 graph 時，最好加入 name 參數。通過 ls 命令可以查看創建節點的框架源碼：
  • 【翻譯】Sklearn 與 TensorFlow 機器學習實用指南 —— 第9章 (上)啟動並運行TensorFlow
    它提供了一個非常簡單的 Python API，名為 TF.Learn2（tensorflow.con trib.learn），與 Scikit-Learn 兼容。正如你將會看到的，你可以用幾行代碼來訓練不同類型的神經網絡。之前是一個名為 Scikit Flow（或 Skow）的獨立項目。
  • TensorFlow 2.0 部署:TensorFlow Serving
    使用以下命令即可：tensorflow_model_server \ --rest_api_port=埠號（如8501） \ --model_name=模型名 \ --model_base_path="SavedModel格式模型的文件夾絕對地址（不含版本號）"註解TensorFlow
  • 9步教你安裝完成tensorflow與pytorch
    ▌圖片：tensorflow官網、安裝截圖▌來源：八鬥AI 從思想出發，去理解技術；用智慧推演，看人工智慧
  • 如何在windows系統上安裝Tensorflow Object Detection API?
    之前一直在雲伺服器上跑代碼，近期接手了師兄的臺式機（GTX 1050），雖然配置很渣，但想在本地玩玩看，於是乎先安裝一波Tensorflow Object Detection API。之前雲服上配置的時候十分順利，可是到了windows下很容易進坑，這裡簡單整理下踩坑後的總結。目錄大致的安裝步驟其實差不多，只是在些細節上會遇到坑，在這些坑上注意避免即可。
  • TensorFlow Profiler安裝指南(真香)
    TensorFlow Profiler是Google新一代針對TensorFlow計算圖的性能分析工具，它內嵌於Tensorboard的一個tag
  • 我的 TensorFlow 2.0 初體驗
    這樣，在anaconda的envs路徑下，就多了一個tf2的虛擬環境，我們可以使用activate命令激活它：也可以使用deactivate來退出環境：接下來，安裝tensorflow的環境，我們首先使用清華源：sudo pip config set global.index-url https:然後，安裝