深度學習環境搭建詳細教程

開發環境 platform

作業系統 OS

Windows 7Windows 10Ubuntu 18.04Ubuntu 16.04Ubuntu 20.04開發語言 Python3

Anaconda3Jupyter Lab & Jupyter NotebookPyCharm開發框架

PyTorchTensorFlow2計算資源

CPUGPU ( CUDA & cuDNN )TPU

版本匹配 select

Windows 7 + Anaconda3 + Jupyter Lab + Jupyter Notebook + PyCharm + PyTorch + TensorFlow + CPU + GPU + TPU + CUDAWindows 10 + Anaconda3 + Jupyter Lab + Jupyter Notebook + PyCharm + TensorFlow + CPU + GPU + TPU + CUDA + cnDNNUbuntu 18.04 + Anaconda3 + Jupyter Lab + Jupyter Notebook + PyCharm + PyTorch + TensorFlow + CPU + GPU + TPU + CUDAUbuntu 16.04 + Anaconda3 + Jupyter Lab + Jupyter Notebook + PyCharm + TensorFlow + CPU + GPU + TPU + CUDA + cnDNN

環境搭建結構圖

實戰順序 order

Anaconda3JupyterCUDA & cuDNNPyTorch & TensorFlowPyCharmsoftware：安裝路徑；系統環境變量配置；快速啟動與關閉；軟體本身的一些相關配置

安裝命令 command

Windows 作業系統# 1、安裝 Anaconda3# Anaconda 官網:https://www.anaconda.com/products/individual#windows# Anaconda 國內清華大學鏡像:https://mirrors.tuna.tsinghua.edu.cn/# Windows 下【next】即可，注意選擇將路徑添加到系統環境變量中那個選項# Win + R，打開運行窗口，輸入 cmd# 檢測 Anaconda 安裝情況where conda # 檢測位置是否是自己想要的where pipwhere pythonwhere ipythonconda --version #或者輸入 conda -V 查看版本是否自己需要的pip --versionpython --versionipython --version# 升級 Anaconda 自帶的 Jupyter# 建議先配置好 pip 國內鏡像源pip install --upgrade jupyterlab# cmd 打開 jupyter labjupyter lab# 配置 jupyter ，一般設置工作路徑，遠程登錄等等信息# 生成配置文件jupyter notebook --generate-config# 2、NVIDIA 顯卡資源 GTX 1060、GTX 1080Ti# CUDA 10.0 官網：https://developer.nvidia.com/cuda-10.0-download-archive?target_os=Windows&target_arch=x86_64&target_version=10&target_type=exelocal# 右擊以管理員身份運行，選擇自定義安裝，按需選擇，注意與本身驅動版本區別匹配# cuDNN 7.5 for CUDA 10.0 官網：https://developer.nvidia.com/rdp/cudnn-archive# cuDNN 需要登錄才能下載，註冊並登錄一些即可# 解壓後重命名文件夾為 cudnn ，然後剪切到 CUDA 安裝目錄下即可######## 添加系統環境變量 PATH ############# 1、CUDA\V10.0\bin# 2、CUDA\V10.0\libnvvp# 3、CUDA\V10.0\extras\CUPI\libx64# 4、CUDA\V10.0\cudnn\bin######## 四個環境變量一個不能少，而且必須保持到最前面 ############# 測試nvcc --version# 3、配置好 pip 國內鏡像源# 查看包管理器pip的版本，至少要求pip版本在10以上# 如果有需要，可以升級pip到最新版本python -m pip install --upgrade pip# 設置全局默認pypi國內鏡像源地址，只需要一個即可pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simplepip config set global.index-url https://mirrors.aliyun.com/pypi/simple# 可以臨時使用指定的pypi鏡像源，命令如下pip install -i https://pypi.tuna.tsinghua.edu.cn/simple packageName# 設置配置文件 Windows# Win + R 打開【運行】窗口，輸入%HOMEPATH%，自動跳轉到用戶目錄# 在打開的目錄下新建一個目錄，命名為pip# 進入pip目錄，新建配置文件，命名為pip.ini，注意Windows下配置文件後綴為.ini# 打開配置文件pip.ini，輸入pypi源，如下內容[global]index-url = https://mirrors.aliyun.com/pypi/simple/[install]trusted-host=mirrors.aliyun.com# 4、安裝 PyTorch# PyTorch 官網：https://pytorch.org/get-started/locally/# 選擇對應的 PyTorch 版本，作業系統，包管理工具，支持語言，CUDA 版本# 自動生成命令# 例如：PyTorch 1.5.1，Windows 10，pip，Python，CUDA 10.2pip install torch===1.5.1 torchvision===0.6.1 -f https://download.pytorch.org/whl/torch_stable.html# 測試 PyTorch，進入 cmd# 沒有 GPU 資源，不報錯即可ipythonimport torch# 有 GPU 資源，返回 True 即可torch.cuda.is_available()# 5、安裝 TensorFlow2# TensorFlow官網：https://www.tensorflow.org/install# 安裝 僅支持 CPU 版本pip install tensorflow-cpu# 測試,進入 cmd，輸入命令沒有錯誤即可import tensorflow as tf# 安裝 支持 GPU和CPU 版本pip install tensorflow# 測試,進入 cmd，輸入命令返回 True 即可tf.test.is_gpu_available()# 6、安裝 PyCharm# PyCharm 官網：https://www.jetbrains.com/pycharm/download/# 注意安裝時選擇自定義安裝，系統環境變量等等情況# 快速啟動並配置 Python 解釋器等等一系列配置

Linux-Ubuntu 作業系統# 1、配置國內 ubuntu 軟體鏡像源sudo cp /etc/apt/sources.list /etc/apt/sources.list_backup# 查看系統的版本號或者系統代號，便於配置相適應的鏡像源# Ubuntu 12.04 (LTS)代號為precise# Ubuntu 14.04 (LTS)代號為trusty# Ubuntu 16.04 (LTS)代號為xenial# Ubuntu 18.04 (LTS)代號為bioniclsb_release -c# 2、安裝 Anaconda3# 添加執行權限chmod +x anaconda3.sh# 執行安裝./anaconda3.sh# 1、回車開始安裝# 2、按 q 退出查看閱讀協議# 3、輸入 yes 同意協議服務# 4、輸入安裝路徑 /home/user/conda/# 5、添加系統環境變量 yeswhich conda # 檢測位置是否是自己想要的which pipwhich pythonwhich ipython# 3、配置國內 pip 鏡像源# 在終端使用如下命令，新建 pip 配置文件，為當前登錄用戶 Python 設置 pypi 鏡像源vi ~/.pip/pip.config# 在配置文件中輸入 pypi 源，需要簡單的 Vi&Vim 操作命令# 4、安裝 GPU 驅動加速以及 cuDNN 深度神經網絡加速庫# 顯卡信息查看lspci# 安裝 CUDA，搜索 cuda 10.2 download 即可# 選擇好 cuda版本、作業系統、架構64、ubuntu以及其版本、deb local# 出現安裝指南 Installation Instructions:wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1804/x86_64/cuda-ubuntu1804.pinsudo mv cuda-ubuntu1804.pin /etc/apt/preferences.d/cuda-repository-pin-600wget http://developer.download.nvidia.com/compute/cuda/10.2/Prod/local_installers/cuda-repo-ubuntu1804-10-2-local-10.2.89-440.33.01_1.0-1_amd64.debsudo dpkg -i cuda-repo-ubuntu1804-10-2-local-10.2.89-440.33.01_1.0-1_amd64.debsudo apt-key add /var/cuda-repo-10-2-local-10.2.89-440.33.01/7fa2af80.pubsudo apt-get updatesudo apt-get -y install cuda# 重啟使得網卡驅動生效# 查看信息,顯示 GPU 資源信息即可nvidia-smi# 配置 nvcc 到系統環境變量，並使其生效# 查看當前 PATH 內容echo $PATH# 找到 cuda 安裝路徑下的 nvcc 命令# 類似：/usr/local/cuda_10.2/binvi ~/.bashrc# 添加內容export PATH="/usr/local/cuda_10.2/bin:$PATH"# 生效配置文件source ~/.bashrc# 檢測 nvccnvcc -V# 5、安裝 PyTorchpip install torch==1.5.1+cu101 torchvision==0.6.1+cu101 -f https://download.pytorch.org/whl/torch_stable.html# 測試 PyTorch，打開終端 Ctrl + Alt + T# 6、安裝 TensorFlow2# 7、注意點# 之所有沒有安裝 cuDNN 庫支持，並能成功使用 TensorFlow 的 GPU 資源# 這是因為，PyTorch 安裝中自動下載並配置了 cudatoolkit 庫，即就是 cuDNN 庫# 如果沒有安裝 PyTorch，則需要自己配置 cuDNN 庫# 下載並解壓後重命名文件夾為 cudnn ，然後 mv 到 CUDA 安裝目錄下即可# 配置 cudnn 庫到系統環境變量庫中,指定 cudnn 庫位置echo $LD_LIBRARY_PATHexport LD_LIBRARY_PATH="/home/cuda/cudnn/lib64:$LD_LIBRARY_PATH"# 7、安裝 PyCharm# 解壓，執行 pycharm.sh./pycharm.sh# 按照提示進行安裝即可# 選擇快速啟動命令 charm 終端啟動

基本概念 conception

系統環境變量功能：使得在系統終端能夠搜索並使用某個命令或者搜索到某個動靜態庫

編譯器功能：將原始碼編譯成機器指令，供計算機執行

編輯器功能：快速編輯原始碼

調試器功能：對程序進行調試，找出錯誤bug

集成開發環境 IDE編輯 + 編譯 + 調試 + Git版本控制

作業系統

Windows 系列Windows XPWindows 7Windows 8Windows 10

Linux 系列UnixUbuntuDebianRed HatCentosArch LinuxLinux MintAndroid

Mac 系列Mac OS 9Mac OS X 10.0Mac OS X 10.12Mac OS X 10.14Mac OS X 10.15iOS

深度學習框架

Scikit-learn for Machine Learning , no GPUKeras a Deep Learning library2013年，第一個面向深度學習的框架 Caffe ，C-plus-plus 開發，不支持自動求導Theano，加拿大，開發難，調試難Torch，採用 Lua 語言TensorFlow，Google，2017發布TensorFlow1，2019發布TensorFlow2PyTorch，FacebookChainer ，日本MXNet

現在深度學習框架

TensorFlow + Keras( Keras 作為 TensorFlow 後端)PyTorch + Caffe2（Caffe2 作為 PyTorch 後端，Torch 作為 PyTorch 前端）優勢：GPU加速，自動求導，神經網絡API

人工智慧常用庫

Scikit-Learn 機器學習庫，分類、回歸、數據處理、降維處理、聚類、模型選擇OpenCV 圖像處理庫，圖像視頻處理PyTorchTensorFlowScipy 科學計算基礎庫Numpy 矩陣高效運算Pandas 數據快速處理Matplotlib 可視化繪製Git 代碼版本管理工具

國內鏡像源

Linux OSPython包 PyPiUbuntu 軟體源阿里雲鏡像、華為鏡像、中科院、清華大學

簡要說明 introduction

清晰思路，整個安裝過程一定要思路清晰，每一步都需要知道在幹啥子本文僅做參考，可能隨著歲間流逝，有些命令有所變換，筆者儘量做到最新，希望更確定命令參考官方說明文檔筆者研究方向：數字圖像處理 DIP、計算機視覺 CV筆記信條：儘量操作過程不要展示圖片，入這門，思維抽象很重要，這些操作必是熟稔於心歡迎對內容進行補充和糾錯，能夠幫助更多的人！