【深度學習】相當全面的深度學習環境配置指南!(Windows、Mac、Ubuntu全講解)

2021-02-20 機器學習初學者

入門深度學習,很多人經歷了從入門到放棄的心酸歷程,且千軍萬馬倒在了入門第一道關卡:環境配置問題。俗話說,環境配不對,學習兩行淚。

如果你正在面臨配置環境的痛苦,不管你是Windows用戶、Ubuntu用戶還是蘋果死忠粉,這篇文章都是為你量身定製的。接下來就依次講下Windows、Mac和Ubuntu的深度學習環境配置問題。

一、Windows系統深度學習環境配置

安裝組合:Anaconda+PyTorch(GPU版)+GTX1060

1.1 打開Anaconda Prompt1、conda create -n pytorch python=3.7.0:創建名為pytorch的虛擬環境,並為該環境安裝python=3.7。2、activate pytorch:激活名為pytorch的環境

1.2 確定硬體支持的CUDA版本

NVIDIA控制面板-幫助-系統信息-組件

2020年5月19日16:46:31,我更新了顯卡驅動,看到我的cuda支持11以內的

1.3 確定pytorch版本,torchvision版本

進入pytorch官網:https://pytorch.org/get-started/locally/

因為官方源太慢了,這裡使用清華源下載

1.4 鏡像中下載對應的安裝包

清華鏡像:

https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/win-64/

pytorch:

torchvision:

1.5 本地安裝

接著第一步,在pytorch環境下進行安裝,依次輸入如下指令。

然後回到虛擬環境所在目錄,用conda install anaconda安裝環境所需的基礎包

1.6 測試

代碼1:

from future import print_functionimport torchx = torch.rand(5, 3)print(x)

import torchtorch.cuda.is_available()

如果以上兩段代碼輸出無異常,表明環境搭建成功。

1.7 遇到的問題

conda create -n py37_torch131 python=3.7


【解決方法】https://blog.csdn.net/weixin_42329133/article/details/102640763

環境會保存在Anaconda目錄下的envs文件夾內

https://www.cnblogs.com/hellojiaojiao/p/10790273.html【解決方案】https://mirror.tuna.tsinghua.edu.cn/help/anaconda/

我直呼一聲清華NB!

cuda歷史版本下載:https://developer.nvidia.com/cuda-toolkit-archive要看NVIDIA的組件,自己的CUDA支持哪個版本,我是1060顯卡,所以我下的10.0版本的cuda

conda install pytorch torchvision cudatoolkit=10.0 -c pytorch

python -m ipykernel install --name 虛擬環境名

1.打開Anaconda Prompt,輸入conda env list 查看現有環境

2.輸入activate name(name是你想切換的環境)

3.conda install ipykernel 安裝必要插件

4.python -m ipykernel install --name Name 將環境添加到Jyputer中(Name是此環境顯示在Jyputer中的名稱,可自定義)

刪除內核

jupyter kernelspec remove 內核名稱


[Errno 13] Permission denied: 『/usr/local/share/jupyter』

為此,需要添加–user選項,將配置文件生成在本帳戶的家目錄下。
python -m ipykernel install --user --name py27-caffe-notebook

至此,添加kernel完成。查看已有的kernel:

刪除已有的kernel

jupyter kernelspec remove kernelname

以上的命令刪除僅僅是配置文件,並沒有卸載相應虛擬環境的ipykernel,因此若要再次安裝相應python虛擬環境的kernel,只需激活虛擬環境,然後

python -m ipykernel install --name kernelname

把文件下載到本地,進入該文件的目錄,然後用命令

conda install --offline 包名

安裝組合:Anaconda+PyTorch(GPU版)

2.1 安裝Anaconda

Anaconda 的安裝有兩種方式,這裡僅介紹一種最直觀的- macOS graphical install。https://www.anaconda.com/products/individual裡,Anaconda Installers的位置,選擇Python 3.7 下方的「64-Bit Graphical Installer (442)」。下載好

pkg 安裝包後點擊進入,按下一步完成安裝即可。默認安裝地點為~/opt。想用command line install 的,請自行參考:https://docs.anaconda.com/anaconda/install/mac-os/

2.2 確認下載情況

在Mac 的Terminal 裡,輸入

確保安裝的Python 是3.x 版本。在Terminal 輸入

在網頁右上角點擊Quit,或返回Terminal,command + c,退出notebook。

2.2.1 常見問題

如果電腦中下載了多個Anaconda,運行時可能出現衝突。在Terminal 中輸入

返回home 目錄,輸入

如果只能看到一個Anaconda 版本就沒有問題。如果有多個則下載包時有可能

造成一定的衝突。用vim、nano 或其他文本編輯器把舊版本Anaconda 的

刪除。

2.3 虛擬環境和包的下載

用conda 去創建虛擬環境和下載對應的包是很簡單的一件事。

2.3.1 Graphic

點擊Anaconda-Navigator,可以看到自己下載好的應用程式,左上角「Applications on」應該指向的是「base (root)」,左邊點擊「Environments」就可以看到自己建立的虛擬環境和對應的包了。點擊左下角的Create 即可創建一個新的虛擬環境。

輸入環境名稱和python 的版本,點擊create 進行創建。

之後在Home 頁面,確保左上角指向的是你剛剛創建的環境名,在這個環境下install jupyter notebook,注意原本裝的notebook 是在base 裡的,不可通用。

回到Environments 中,可以看到在此環境中的所有包,左上方選擇All,然後輸入想要下載的包名

然後選中進行下載

2.3.2 Command Line

用command line 完成以上的操作也很簡潔。這次以Pytorch 為例。在Terminal 中輸入

conda create --name env_name

就可以創建一個虛擬環境,叫「env_name」。輸入

即可看到創建了的所有虛擬環境,其中打* 的就是當前環境。輸入

進入環境

退出當前虛擬環境,進入base。

2.3.3 下載Pytorch

一般情況下Mac 是不支持CUDA 的。進入https://pytorch.org/ 可以看到

pytorch 官網顯示當前設備應該用的下載語句。此情況,我的是
conda install pytorch torchvision -c pytorch

複製下來,粘貼到Terminal 中運行就可以開始下載了。

下載完成後,在Terminal 輸入

之後import 兩個剛下載的包,確認下載完成

import torchimport torchvision
print(torch.__version__)print(torchvision.__version__)

就ok 了。

2.4 額外情況

國內如果直接用conda 下載,可能會很慢。可以換下載源進行加速。換源方法可參考下列資料中的Linux 部分:https://zhuanlan.zhihu.com/p/87123943。conda 下載中常會出現「Solving environment: failed...」的問題,如果正常創建虛擬環境,這位問題應該就是沒有問題的,如果還發生,可以再創建一個虛擬環境。conda 的社群很大,基本上遇到的問題很有可能有人遇到、有人解答,Google會是一個很好的解決辦法。安裝組合:Anaconda+PyTorch(CPU版)或PyTorch(GPU版)Anaconda和Python版本是對應的,所以需要選擇安裝對應Python2.7版本的還是Python3.7版本或其他版本的,根據自己的需要下載合適的安裝包。下載連結:https://www.anaconda.com/download/#linux

點擊下面的64-Bit (x86) Installer (522 MB),下載64位的版本。

下載完後的文件名是:Anaconda3-2020.02-Linux-x86_64.sh。

cd到Anaconda3-2020.02-Linux-x86_64.sh所在的目錄:

執行bash Anaconda3-2020.02-Linux-x86_64.sh開始安裝:這裡直接回車安裝到默認路徑,或者在>>>後輸入自定義路徑等待安裝進度條走完,然後出現下面的提示,yes是加入環境變量,no是不加入環境變量,這裡我們以輸入no為例

接下來手動加入環境變量,先cd到~,然後編輯.bashrc文件:sudo vim .bashrc

# 區分anaconda python與系統內置pythonalias python3="/usr/bin/python3.5"alias python2="/usr/bin/python2.7"
. /home/cxd/anaconda3/etc/profile.d/conda.sh

輸入source .bashrc來執行剛修改的初始化文檔

下面輸入conda env list來試試環境變量是否設置成功:試試剛剛設置的使用內置python的命令:python2、python3如果到這就結束的話,大家安裝包的時候肯定會無比煎熬~這裡需要將anaconda換一下源(加入清華源):然後我們創建一個名為pytorch的虛擬環境,發現報了下面的錯誤:原因是我們沒有清除上次安裝留下來的源,輸入sudo vim  .condarc,修改該文件的內容(記得刪除default那行):然後輸入source .condarc,再次創建虛擬環境:3.2 pytorch cpu版本安裝

打開pytorch官網:https://pytorch.org/

激活剛剛創建的虛擬環境:conda activate pytorch在安裝之前先添加下面這個源:
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch

conda install pytorch torchvision cpuonly -c pytorch

import torchprint(torch.__version__)

3.3 pytorch-gpu安裝3.3.1 GPU驅動安裝

執行命令:' ubuntu-drivers devices'

== /sys/devices/pci0000:00/0000:00:01.0/0000:01:00.0 ==modalias : pci:v000010DEd00001C8Dsv00001028sd0000086Fbc03sc02i00vendor   : NVIDIA Corporationmodel    : GP107M [GeForce GTX 1050 Mobile]driver   : nvidia-driver-390 - distro non-freedriver   : nvidia-driver-435 - distro non-freedriver   : nvidia-driver-440 - distro non-free recommendeddriver   : xserver-xorg-video-nouveau - distro free builtin
== /sys/devices/pci0000:00/0000:00:14.3 ==modalias : pci:v00008086d0000A370sv00008086sd000042A4bc02sc80i00vendor : Intel Corporationmodel : Wireless-AC 9560 [Jefferson Peak]manual_install: Truedriver : backport-iwlwifi-dkms - distro free

大家可以看到,這裡有個設備是GTX1050。推薦安裝驅動是440。


安裝所有推薦驅動

sudo ubuntu-drivers autoinstall

安裝一個驅動

sudo apt install nvidia-440

3.3.2 安裝cuda

cuda安裝需要對應合適的顯卡驅動。下面是驅動和cuda的版本對應關係

Table 1. CUDA Toolkit and Compatible Driver VersionsCUDA Toolkit    Linux x86_64 Driver Version Windows x86_64 Driver VersionCUDA 10.2.89    >= 440.33   >= 441.22CUDA 10.1 (10.1.105 general release, and updates)   >= 418.39   >= 418.96CUDA 10.0.130   >= 410.48   >= 411.31CUDA 9.2 (9.2.148 Update 1) >= 396.37   >= 398.26CUDA 9.2 (9.2.88)   >= 396.26   >= 397.44CUDA 9.1 (9.1.85)   >= 390.46   >= 391.29CUDA 9.0 (9.0.76)   >= 384.81   >= 385.54CUDA 8.0 (8.0.61 GA2)   >= 375.26   >= 376.51CUDA 8.0 (8.0.44)   >= 367.48   >= 369.30CUDA 7.5 (7.5.16)   >= 352.31   >= 353.66CUDA 7.0 (7.0.28)   >= 346.46   >= 347.62

cuda下載連結:http://suo.im/6dY8rL

Installer Type選擇第一第二個都可。但是要在獲得cuda文件後先檢測gcc版本。下面以第一個runfile(local)安裝方式為例。


linux一般會自帶了gcc,我們先檢測一下自己系統的gcc版本

而cuda的gcc依賴版本在官方文檔的安裝指南上會給出

如果版本和cuda依賴gcc不對應,就安裝cuda需要的版本
sudo apt-get install gcc-7.0sudo apt-get install g++-7.0

安裝完成後需要更換系統gcc版本

sudo update-alternatives --install /usr/bin/gcc gcc /usr/bin/gcc-7 50sudo update-alternatives --install /usr/bin/g++ g++ /usr/bin/g++-7 50

選擇需要的版本

sudo update-alternatives --config gcc
選擇 路徑 優先級 狀態* 0 /usr/bin/gcc-9 50 自動模式 1 /usr/bin/g++-9 50 手動模式 2 /usr/bin/gcc-7 50 手動模式

sudo sh cuda_你的版本_linux.run


將下面的命令複製進去

export PATH=/usr/local/cuda-10.2/bin${PATH:+:$PATH}}    export LD_LIBRARY_PATH=/usr/local/cuda-10.2/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}

檢查是否安裝成功

3.3.3 安裝cudnn

https://developer.nvidia.com/cudnn    選擇對應cuda的版本即可

然後將cudnn解壓後的include和lib64文件夾複製到cuda中

sudo cp cuda/include/cudnn.h    /usr/local/cuda-10.2/include    #解壓後的文件夾名字為cuda-10.2  sudo cp cuda/lib64/libcudnn*    /usr/local/cuda-10.2/lib64sudo chmod a+r /usr/local/cuda-10.2/include/cudnn.h   /usr/local/cuda-10.2/lib64/libcudnn*

3.3.4 安裝pytorch-gpu

conda安裝:

# 選擇自己對應的cuda版本conda install pytorch torchvision cudatoolkit=10.2

pip安裝:

pip install torch torchvision -i  https://pypi.mirrors.ustc.edu.cn/simple


所有的深度學習環境安裝指南到這裡就結束了,希望能解決你面臨的環境配置難題。關於實踐項目,可以結合阿里天池的學習賽進行動手實踐。https://tianchi.aliyun.com/competition/entrance/231784/forumhttps://tianchi.aliyun.com/competition/entrance/531795/forumhttps://tianchi.aliyun.com/competition/entrance/531810/forum

獲取一折本站知識星球優惠券,複製連結直接打開:

https://t.zsxq.com/yFQV7am

本站qq群1003271085。

加入微信群請掃碼進群:

相關焦點

  • 深度學習環境配置指南!(Windows、Mac、Ubuntu全講解)
    入門深度學習,很多人經歷了從入門到放棄的心酸歷程,且千軍萬馬倒在了入門第一道關卡:環境配置問題。俗話說,環境配不對,學習兩行淚。
  • 深度學習筆記15:ubuntu16.04 下深度學習開發環境搭建與配置
    作者:魯偉一個數據科學踐行者的學習日記。
  • Windows電腦深度學習環境超詳細配置指南
    要在 Windows 上開發模型,首先當然是配置開發環境。Kaggle Master 及機器學習實踐者 Abhinand 立足於自己的實踐,給出了一種簡單易行的 Windows 深度學習環境配置流程。本文將介紹在 Windows 計算機上配置深度學習環境的全過程,其中涉及安裝所需的工具和驅動軟體。出人意料的是,即便只是配置深度學習環境,任務也不輕鬆。你很有可能在這個過程中犯錯。
  • 從零開始深度學習第15講:ubuntu16.04 下深度學習開發環境搭建與配置
    深度學習大多用來處理圖片、語言、視頻和文本等大量非結構化數據,因而計算資源是進行深度學習開發的必要條件,想依靠windows單機玩深度學習恐怕不現實,基於linux和 gpu伺服器的深度學習開發環境配置就顯得尤為重要了。
  • RTX 3080深度學習環境配置
    找資料的時候感覺現在寫30XX系顯卡深度學習環境配置的文章還不太完善,所以記錄了自己的採坑經歷
  • Ubuntu 18.04 深度學習環境配置指南:TensorFlow、Keras、PyTorch 簡易安裝
    安裝過程略,安裝鏡像下載地址:ubuntu.com/download/des下載:ubuntu-18.04.2-desktop-amd64.iso2.安裝ssh備註:這一步需要到伺服器桌面上的命令窗口輸入,這一步完成後,就可以用ssh工具遠程連接伺服器了,本文使用的是XShell。
  • 通過Docker部署深度學習項目環境
    深度學習環境部署的方法有很多種,其中Docker化深度學習環境和項目是一個很不錯的選擇。
  • 深度學習 | 介紹深度學習如何配置帶GPU電腦環境
    最近開始學習深度學習(Deep Learning)技術,特別是google的Tensorflow深度學習包開源後,深度學習已經成為大數據領域的重大計算革命
  • 深度學習入門之ubuntu裝機大法
    現今的深度學習研究者多在Linux系統上進行研究。雖然Windows也能用,但是Linux更好用。
  • 手把手教你安裝深度學習軟體環境(附代碼)
    為了進行強化學習研究,我最近購置了一臺基於 Ubuntu 和英偉達 GPU 的深度學習機器。儘管目前在網絡中能找到一些環境部署指南,但目前仍然沒有全面的安裝說明。另外,我也不得不閱讀了很多文檔來試圖理解安裝細節——其中的一些並不完整,甚至包含語法錯誤。因此,本文試圖解決這個問題,提供一個詳盡的軟體環境安裝指南。本文將指導你安裝這些軟體之間的互相依賴關係如下圖所示。
  • 遠程配置Ubuntu深度學習伺服器GPU驅動+Docker+CUDA多個版本
    其實網上很多人都寫了如何搭建CUDA10.0 + cudnn8.5 , CUDA9.0 + cudnn7.5 等等,並且從TensorFlow的官網你還可以了解到,不同版本的CUDA只能使用指定的幾個TensorFlow版本(Pytorch更是只能下載指定CUDA版本的庫),特別是在多個人同時使用的環境下,遠程的深度學習伺服器經常會崩掉,有可能是別人裝了其他版本的CUDA,或者說有人想使用更高版本的
  • 如何配置 GPU 深度學習伺服器?NVIDIA專家揭秘
    8月12日(周三)晚20:00,NVIDIA開發者社區經理何琨將為大家傾情講解「如何配置 GPU 深度學習伺服器」,以其多年來在GPU
  • 深度學習主機入門版配置
    為了讓初學者花最少的錢辦性價比最高的事情,我制定了一套DIY裝機配置方案,在最大化利用顯卡資源的同時,極力壓縮無關配置。
  • 學會深度學習 月薪2萬不是夢
    下載21GB U盤映像檔案(.tib Acronis True Image映像檔案)在windows電腦安裝Acronis True Image 2018免費試用版 官網網址:https://www.acronis.com/zh-cn/personal/computer-backup/   點擊免費試用,然後下載對應作業系統的軟體
  • Linux深度學習環境配置
    sudo apt-get update當然如果你選擇直接安裝conda也是可以的,安裝步驟如下(記得加入環境變量選yes)# centos和ubuntu通用wget https://repo.continuum.io/archive/Anaconda2-2019.07-Linux-x86_64.shbash Anaconda2-2019.07
  • Python入門深度學習完整指南
    近幾年對深度學習的關注度也在不斷上升,這裡有一個調查結果可以參考。這裡有一個 Google 的搜索趨勢圖:如果你對這個話題感興趣,這裡有一個很好的非技術性的介紹。如果你有興趣了解最近的趨勢,那麼這裡有一個很好的匯總。在這篇文章中,我們的目標是為所有深度學習的人提供一條學習之路,同時也是為想要進一步學習的人提供一條探索的路徑。
  • CICC科普欄目|深度學習完全指南
    ,現在想深入學習深度學習的人。主要包括2個視頻教程,2部重要專著,一系列深入淺出的博客文章,以及一系列實現算法的指南和代碼,堪稱年度最有價值深度學習資料!深度學習是計算機科學和數學交叉的一個快速變化的領域,屬於機器學習的一個相對較新的分支。機器學習的目的是教計算機根據給定的數據執行各種任務。這份指南的目標讀者是已有一些數學基礎,了解一些程式語言,現在想深入學習深度學習的人。
  • 初學者 | 用Windows電腦訓練深度學習模型?超詳細配置教程來了
    要在 Windows 上開發模型,首先當然是配置開發環境。Kaggle Master 及機器學習實踐者 Abhinand 立足於自己的實踐,給出了一種簡單易行的 Windows 深度學習環境配置流程。本文將介紹在 Windows 計算機上配置深度學習環境的全過程,其中涉及安裝所需的工具和驅動軟體。出人意料的是,即便只是配置深度學習環境,任務也不輕鬆。你很有可能在這個過程中犯錯。
  • Ubuntu18.04+CUDA10.2 深度學習開發環境配置指南
    顯卡與伺服器等硬體設備裝機完成後就需要配置本機環境
  • 深度學習—計算機視覺學習路線【從學術到工作】
    入門系列文章:可參考公眾號AI入門系列文章AI入門-計算機視覺學習指南[附資源]其實,對於一門計算機學科的學習,入門同學無非要做好兩門功課:理論知識+編程能力。為什麼深度學習幾乎成為了計算機視覺研究的標配?深度學習為什麼這麼強?它主要解決了什麼問題呢?我比較認同以下三點:學習特徵的能力很強,通用性強,開發優化維護成本低。關於這一部分的學習,主要就是深度學習。關於deeplearning,漫天飛的各種資源。