Conda深度學習使用指南

2021-12-21 貓兄的和諧號列車
目錄


創建conda環境

激活環境

安裝依賴

固化依賴

刪除環境

在pycharm中使用該環境

TensorFlow

pytorch


什麼是conda?

Conda 是一個開源的軟體包管理系統和環境管理系統,用於安裝多個版本的軟體包及其依賴關係,並在它們之間輕鬆切換。Conda 是為 Python 程序創建的,適用於 Linux,OS X 和Windows,也可以打包和分發其他軟體。

再簡單點說就是一個預裝了一些「常用」的軟體包的環境管理工具,在所有系統上都可以用。

什麼是環境和虛擬環境?為什麼要使用conda?

環境就是代碼運行的一些基礎背景,例如說作業系統的版本、驅動的版本、依賴包的版本等等,但凡可能影響代碼運行的因素都可以成為環境(aka玄學)。環境管理是一件非常麻煩的事情,在復現或者遷移代碼時,要儘可能保證代碼運行在相同的環境中(否則可能跑不通或者出現不同的結果)。

如果使用python官網安裝的python解釋器,那就只有一個默認的環境,在這個環境下某個包只能有一個版本。如果需要同時使用tensorflow 1.13和1.14版本,就無法實現。因此虛擬環境應運而生。虛擬環境就是創建不同的python解釋器,環境之間依賴是獨立的。

conda有環境管理的功能,通過conda可以方便地切換環境,安裝不同的包和他對應的驅動等,尤其是安裝cuda和cudnn這兩個深度學習必須的依賴。

安裝

可以在 Anaconda 找到對應系統的安裝包。以Windows系統為例,提供了.exe的安裝器,下載後雙擊安裝,一路下一步即可。在Linux和MacOS下均有對應的安裝器,根據架構和版本下載,按照提示安裝即可。

在Windows環境下,在開始菜單中找到Anaconda Prompt (Anaconda 3),打開後出現命令行,如

(base) C:\Users\some_username>

輸入conda —version能顯示conda當前的版本即為安裝成功。以下演示均為Windows環境,其他環境的命令行與Windows的類似,不再贅述。

在linux或其他命令行環境下,輸入conda不提示命令不存在或輸入conda —version能顯示當前版本即為安裝成功。

基本使用創建conda環境

前面說到,環境管理是conda的一個核心功能,在使用中,一般一個項目對應使用一個環境。在創建項目前,先創建一個環境。

conda create -n project_name_and_stuff python=3.7

這條命令的意思是創建一個名為project_name_and_stuff的環境,其python版本為3.7。

對於項目名稱的命名,建議採用項目名稱+深度學習框架及版本+CPU/GPU環境+其他需要說明的版本的形式,例如DIGIX_tf1_gpu表示該項目名稱為DIGIX,使用TensorFlow1版本,使用GPU環境。若不需要深度學習環境,則只採用項目名稱即可。python版本建議選擇當前穩定的版本或適配環境中其他依賴的版本。

激活環境

環境創建完成後,可以根據項目的需要安裝響應的依賴。首先需要激活環境。

conda activate demo-project

輸入後,命令行會變成如下

(demo-project) C:\Users\some_username>

此時已經進入了demo_project的環境,可以開始安裝對應的依賴了。

若要退出該環境,輸入

conda deactivate

安裝依賴

有兩種安裝方式,先介紹conda特有的conda install,另外還有原來的pip方式也可以用於安裝依賴。

conda install

以requests庫為例,只需要輸入

conda install requests

若要安裝指定版本的某個包,可以使用

conda install package=version

其中package為包名,version為其版本號。連續輸入多個包名和對應的版本號可以一次性安裝多個包。可以使用的版本可以使用以下命令查詢。

conda search package

pip

就是正常的包安裝過程,輸入

pip install package==version

注意這裡版本前面是==而不是前面的=。連續輸入多個包名和對應的版本號可以一次性安裝多個包。

固化依賴

建議在安裝好所有需要的依賴後,將目前依賴版本導出,方便復現或遷移項目時,能快速恢復環境。

conda方式

通過以下命令可以快速導出當前環境中所有依賴。

conda env export > environment.yml

到了新環境中,使用以下命令即可恢復。

conda env create -f environment.yml

pip方式

通過以下命令可以快速導出當前環境中所有依賴。

pip freeze > requirements.txt

到了新環境中,使用以下命令即可恢復。

pip install -r requirements.txt

刪除環境
conda remove -n demo-project --all

在pycharm中使用該環境

在打開項目之後,在右下角點擊環境這部分,選擇Interpreter Settings...,進入項目環境,點擊Show All。

點擊+,找到Conda Environment,然後選擇Existing Environment,在Interpreter中找到剛才新建的環境的python.exe即可。一般來說,路徑在你的用戶目錄下的Anaconda3\envs下。最後點擊ok即可。

然後選擇剛添加的環境,點ok即可。

安裝深度學習環境TensorFlow

可以參考這篇文章。https://docs.anaconda.com/anaconda/user-guide/tasks/tensorflow/

Conda可以為深度學習環境提供對應的cuda和cudnn版本,只需要在安裝的時候指定cudatoolkit版本即可。

conda install tensorflow-gpu=1.14 cudatoolkit=10.0 // 1.x
conda install tensorflow=2.1.0 cudatoolkit=10.1 // 2.x

其中,cudatoolkit的版本請查閱https://www.tensorflow.org/install/source#linux。

pytorch

可以參考 https://pytorch.org/get-started/locally/

安裝方式比較簡單。

conda install pytorch torchvision torchaudio cudatoolkit=10.2 -c pytorch

拓展閱讀

conda的安裝與使用(2021-04-27更新)https://www.jianshu.com/p/edaa744ea47d

conda Command Reference https://docs.conda.io/projects/conda/en/latest/commands.html

Cheatsheet

清理空間

conda clean -p // 刪除沒用的包
conda clean --all // 刪除所有緩存

升級conda

conda update conda
conda update anaconda

列出所有環境

conda env list
conda info --envs

重命名環境

conda create --name newname --clone oldname //克隆環境
conda remove --name oldname --all //徹底刪除舊環境

相關焦點

  • Windows電腦深度學習環境超詳細配置指南
    Kaggle Master 及機器學習實踐者 Abhinand 立足於自己的實踐,給出了一種簡單易行的 Windows 深度學習環境配置流程。本文將介紹在 Windows 計算機上配置深度學習環境的全過程,其中涉及安裝所需的工具和驅動軟體。出人意料的是,即便只是配置深度學習環境,任務也不輕鬆。你很有可能在這個過程中犯錯。
  • 【深度學習】相當全面的深度學習環境配置指南!(Windows、Mac、Ubuntu全講解)
    俗話說,環境配不對,學習兩行淚。如果你正在面臨配置環境的痛苦,不管你是Windows用戶、Ubuntu用戶還是蘋果死忠粉,這篇文章都是為你量身定製的。接下來就依次講下Windows、Mac和Ubuntu的深度學習環境配置問題。
  • 深度學習環境配置指南!(Windows、Mac、Ubuntu全講解)
    入門深度學習,很多人經歷了從入門到放棄的心酸歷程,且千軍萬馬倒在了入門第一道關卡:環境配置問題。俗話說,環境配不對,學習兩行淚。
  • 深度學習自救指南(一)| Anaconda、PyTorch的下載和安裝
    在我們進行深度學習的過程中,離不開Anaconda環境和PyTorch深度學習框架。
  • 深度學習環境配置指南:Pytorch、TensorFlow、Keras
    導讀本文介紹了作者使用RTX3090進行深度學習環境配置pytorch、tensorflow、keras等的詳細過程及代碼。筆者中山大學研究生,醫學生+計科學生的集合體,機器學習愛好者。/anaconda/cloud/conda-forge conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/msys2/conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch
  • 用Windows電腦訓練深度學習模型?超詳細配置教程來了
    Kaggle Master 及機器學習實踐者 Abhinand 立足於自己的實踐,給出了一種簡單易行的 Windows 深度學習環境配置流程。本文將介紹在 Windows 計算機上配置深度學習環境的全過程,其中涉及安裝所需的工具和驅動軟體。出人意料的是,即便只是配置深度學習環境,任務也不輕鬆。你很有可能在這個過程中犯錯。
  • 使用conda管理你的Python環境
    最近在學習Python,經常會使用到conda命令,conda是Python包及其依賴項和環境的管理工具。因此整理了一些常用的conda命令,以供大家和自己學習使用。例如:需要查看conda install 幫助conda install --help3、升級版本conda update -n base conda #update最新版本的conda
  • 初學者 | 用Windows電腦訓練深度學習模型?超詳細配置教程來了
    Kaggle Master 及機器學習實踐者 Abhinand 立足於自己的實踐,給出了一種簡單易行的 Windows 深度學習環境配置流程。本文將介紹在 Windows 計算機上配置深度學習環境的全過程,其中涉及安裝所需的工具和驅動軟體。出人意料的是,即便只是配置深度學習環境,任務也不輕鬆。你很有可能在這個過程中犯錯。
  • 最全面的深度學習框架pytorch搭建過程
    深度學習一直是比較熱門的話題,在動手學習之前,需要搭建深度學習框架,如pytorch、TensorFlow、caffe、mxnet等。
  • RTX 3090的深度學習環境配置指南:Pytorch、TensorFlow、Keras
    config --add channels https:conda config --add channels https:conda config --add channels https:conda config --add channels https:conda config --add channels https:conda config --set show_channel_urls
  • Conda/Bioconda實際使用體驗分享
    的經歷:最初是由於安裝幾個科學計算相關的python包出錯,尤其是Scipy包,如果直接使用pip install的方式必然會安裝失敗,雖然後面找到了解決方案,但同時搜到了一堆人推薦使用conda來管理python包的文章,本著試一試態度,就安裝了一次,不過由於當時的工作任務主要是在Windows平臺上進行,使用conda並沒有給我帶來什麼方便之處,然後就將其遺棄了,這是我與conda的第一次邂逅~
  • conda_初級使用
    conda選擇conda分為anaconda和miniconda。anaconda是包含主流的數據科學相關的工具,miniconda則是精簡版,僅包含基本工具,所以推薦使用miniconda。cd ~bash Anaconda3-2020.02-Linux-x86_64.sh其實我在Ubuntu下安裝時,使用個人帳戶【/home/***】一貫情況是一路回車結束。
  • 深度學習 | Keras 簡介
    戳左上藍字「阿力阿哩哩的煉丹日常」關注作者哦~這章開始,筆者開始帶領大家一起學習深度學習的原理和實踐。
  • RTX 3090 的深度學習環境配置指南:Pytorch、TensorFlow、Keras
    導讀本文介紹了作者使用RTX3090進行深度學習環境配置pytorch、tensorflow、keras等的詳細過程及代碼。筆者中山大學研究生,醫學生+計科學生的集合體,機器學習愛好者。/anaconda/cloud/conda-forge conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/msys2/conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch
  • Python入門深度學習完整指南
    近幾年對深度學習的關注度也在不斷上升,這裡有一個調查結果可以參考。這裡有一個 Google 的搜索趨勢圖:如果你對這個話題感興趣,這裡有一個很好的非技術性的介紹。如果你有興趣了解最近的趨勢,那麼這裡有一個很好的匯總。在這篇文章中,我們的目標是為所有深度學習的人提供一條學習之路,同時也是為想要進一步學習的人提供一條探索的路徑。
  • 使用conda安裝R
    收錄於話題 #軟體安裝與使用 使用conda安裝R(集群操作)2021-11-241.
  • 這是一份你們需要的Windows版深度學習軟體安裝指南
    在完成配置深度學習框架後,本文分別利用這三個框架作為 Keras 後端在 CPU 和 GPU 上訓練了一個標準的卷積神經網絡,完成該簡單的卷積網絡也就意味著我們完成了深度學習環境的配置。該配置版本最後更新的日期是今年七月,該更新版本允許本地使用 3 個不同的 GPU 加速後端,並添加對 MKL BLAS 庫的支持。
  • 深度學習與LabVIEW(一)
    主要講述如何將深度學習模型應用在LabVIEW環境中,並修改深度學習模型訓練自己的數據集。
  • Ubuntu 18.04 深度學習環境配置指南:TensorFlow、Keras、PyTorch 簡易安裝
    安裝過程略,安裝鏡像下載地址:ubuntu.com/download/des下載:ubuntu-18.04.2-desktop-amd64.iso2.安裝ssh備註:這一步需要到伺服器桌面上的命令窗口輸入,這一步完成後,就可以用ssh工具遠程連接伺服器了,本文使用的是XShell。
  • CICC科普欄目|深度學習完全指南
    ,現在想深入學習深度學習的人。主要包括2個視頻教程,2部重要專著,一系列深入淺出的博客文章,以及一系列實現算法的指南和代碼,堪稱年度最有價值深度學習資料!深度學習是計算機科學和數學交叉的一個快速變化的領域,屬於機器學習的一個相對較新的分支。機器學習的目的是教計算機根據給定的數據執行各種任務。這份指南的目標讀者是已有一些數學基礎,了解一些程式語言,現在想深入學習深度學習的人。