學會Python等於擁有整個世界!秒懂精通pip並快速體驗深度學習應用吧!

2021-12-24 雷學委

微信公眾號:[雷學委]關注開源,關注技術。問題或建議,請公眾號留言。

學會Python很重要,懂了基礎,再學會pip更加重要!

就像手機安裝應用一樣簡單,學委帶著你在主機上安裝pip,再安裝虛擬環境(virualenv),最後簡單試水深度學習框架tensorflow!知識量很多,耐心看吧。學委想說,Python其實就跟白開水一樣,沒有那麼難,把握住了,上面的東西隨便玩!

你本來就學會了Python就是沒有找到好玩的庫,結果半路跑去玩遊戲了,或者半路跑去學Java/C++了多麼浪費天賦啊!哈哈哈

(聲明一下,除了中文,Java是學委最愛的語言,Java的朋友直接來個三連吧)

什麼是pip先說Python 庫, 它就像一個手機App

小白可以這樣理解,一個python庫,就像手機裡面的一個App,一個普通應用一樣。

一個python 庫就是將Python代碼組織在一個文件夾或者多個作為一個整體單位發行出去的代碼庫。

很多開發者做了一個優秀的庫之後會發布到pypi網站(如下),這也是python開源的基礎。

再說 pip, 它就像應用寶

對小白來說pip就像你的華為手機裡面的應用市場App或者像騰訊應用寶App一樣的玩意。

它能夠給你搜索下載其他App。pip是一個用來安裝python庫的工具,類似NodeJS的npm。

開發者可以貢獻自己開發好的代碼到pypi,再使用pip就從pypi查找下載一個python 模塊。

這樣我們就能在項目中引入其他人的python 庫的模塊了。

比如requests這個模塊,可以引入用來訪問http(s)連結。

下面是pip的使用幫助提示:

下面給我們的手機安裝應用寶

沒打錯,給我們的雲主機安裝pip。

先查看版本號,很多伺服器默認都會安裝python 2.7(沒辦法,圖方便,也有很多懶人不升級python的,而且依然還有不少項目仍在用python2的)

python -V #查看版本號

Centos 安裝pip for python2

雷學委準備了下面的腳本,只要你有一個Linux作業系統(雲/虛擬機都行),執行下面的腳本可以安裝pip。

#!/bin/sh

#雷學委建議懂得朋友修改下面代碼,安裝pip for python3

#python3

#getPip=https://bootstrap.pypa.io/get-pip.py

#python2

getPip=https://bootstrap.pypa.io/pip/2.7/get-pip.py

pipFile=./get-pip.py

if [ ! -e ${pipFile} ] ; then

echo "download pip"

wget ${getPip} -O ${pipFile}

fi

python ${pipFile}

安裝效果圖:

好了,其實到這裡,你一樣安裝了第一個python應用,可以三連了。

試用pip來安裝庫

查看版本:pip -V其實pip本身也是python社區裡面的一款爆品應用。

它本身也是一個python 庫。

#pip 搜索requests這個庫

pip search requests

#pip 安裝requests這個庫

pip install requests

配置國內的Pypi鏡像倉庫

因為學委這臺主機是騰訊雲的,所以配了騰訊的倉庫!

複製下面內容保存為pip.conf ,放置在用戶的home目錄下(用戶目錄下)的pip目錄。(比如/User/leiXueWei/.pip/pip.conf)

[global]

index-url = http://mirrors.tencentyun.com/pypi/simple

trusted-host = mirrors.tencentyun.com

國內的一些Pypi鏡像

校驗是否配置生效:

查看你安裝的應用 - pip 查本地庫

比如下面的命令:

#查看本地安裝的python庫

pip list

#比如你裝了tensorflow,可以查看這個庫的詳細信息,版本依賴等

pip show tensorflow

查看tensorflow這個深度學習庫的信息

試用pip安裝其他』應用『安裝virtualenv

virtualenv 是一個提供了一個獨立的項目環境,它隔離了python項目跟系統python的依賴(比如site-packages)內的一些非官方發行的包。

當然,它也是一個python module。擁有它,你可以讓自己的每個項目獨立管理自己依賴的python庫。

簡單來說,virtualenv就相當於,送您一部備用手機。你在上面安裝其他應用,隨便亂裝都不會影響到主手機的使用。同理,你可以使用virtualenv來創建多個備用手機環境。

下面是比較繞的正式說法(小白可以不看)。

有了virtualenv,就能實現單個項目(自己)的庫自己管理,而不跟系統Python公共庫路徑混起來!多個Python 項目也能互相獨立使用不同版本的python庫。

雷學委希望大家都有這個好習慣,多使用virtualenv來隔離不同python項目!

看到這裡,繼續安裝吧

pip install virtualenv

安裝效果如下,pip幫我們下載安裝virtualenv庫,並下載安裝到本機了。這就是應用市場下載安裝一個應用一樣一樣的!

玩轉深度學習框架tensorflow

使用virtualenv 創建一個項目並進入目錄,激活切換到虛擬環境

virtualenv tensorflow-demo

cd tensorflow-demo

source bin/activate

下面先看運行效果

總共執行5個迭代,訓練模型,最後評估出來的模型準確度為0.9768(比第一代 0.9147提高了6個百分點)

具體操作和項目配置

安裝tensorflow

pip install tensorflow

雷學委建議大夥先收藏,懶人直接複製代碼:

import tensorflow as tf

#http://yann.lecun.com/exdb/mnist/ - mnist數據集,就是一些專業人員整理的方便機器學習初學者做學習訓練的一些數據

mnist = tf.keras.datasets.mnist

#加載訓練數據(60K個樣本)和測試數據(10K個樣本)

(x_train, y_train), (x_test, y_test) = mnist.load_data()

x_train, x_test = x_train / 255.0, x_test / 255.0

#定義一個模型

model = tf.keras.models.Sequential([

tf.keras.layers.Flatten(input_shape=(28, 28)),

tf.keras.layers.Dense(128, activation='relu'),

tf.keras.layers.Dropout(0.2),

tf.keras.layers.Dense(10, activation='softmax')

])

#編譯配置模型的優化器,損耗函數,以及檢驗指標

model.compile(optimizer='adam',

loss='sparse_categorical_crossentropy',

metrics=['accuracy'])

#開始訓練,執行5個迭代

model.fit(x_train, y_train, epochs=5)

#評估模型,verbose=2表示每一代處理當作一行輸出

model.evaluate(x_test, y_test, verbose=2)

這個模型對60K圖片樣本進行識別,進行5輪迭代的模型訓練。(官方寫的60K,下一篇給大夥數數)

最後再使用測試數據集對訓練好的模型進行評估。

是不是上面的代碼看不懂?過來看看下面的人話吧。

這個過程就相當於整個字庫裡面有100個字,你拿了90個字來臨摹,臨摹了5遍毛筆字,每次都看一下跟標準字體貼合率(準確率)。

最後在把另外10個字丟給你寫,寫完看看你寫字的準確率,寫的夠不夠標準。你就像一個被不斷訓練的模型,字庫/測試字庫都是用來訓練的數據只要給你訓練的足夠多,你就能夠寫出更好看更標準的字,懂了嗎?學習知識也是一樣的。

好了,本文的重點是安裝掌握pip,順便玩第一個DL應用。

再看看這個圖,你懂了嗎?請記住這個圖!先寫到這裡了。恭喜你,看到這裡已經超值了,幾分鐘到功夫,學到這麼多。

持續學習持續開發,我是雷學委!編程很有趣,關鍵是把技術搞透徹講明白。歡迎關注,還有盡情點讚收藏!

參考連結

Python共享中心倉庫VirtualEnvTensorFlow初學者快速入門

微信公眾號:[雷學委]持續學習持續開發。問題或建議,請公眾號留言。

相關焦點

  • 六招教你用Python構建好玩的深度學習應用
    得益於深度學習的發展,數據科學在近期得到了重大突破,深度學習也因此得到了很多關注。據預測,在不久的將來,更多的深度學習應用程式會影響人們的生活。實際上,我認為這種影響已經開始了。如果你站在圈外的角度,深度學習可能看起來讓人望而生畏。 像TensorFlow,Keras,基於GPU的計算等專業術語可能會嚇到你。 但是,悄悄告訴你 – 深度學習並不難!
  • python深度學習目標檢測自學全框架!
    為了後來者不再迷茫,特寫此《目標檢測學習地圖》,幫助大家梳理正確且清晰的科研學習過程。 深度學習。推薦吳恩達深度學習deeplearning。瀏覽學習P1-P107,重點學習P108-P150。推薦學習時間:3天完成。網址:https://www.bilibili.com/video/BV1FT4y1E74V?
  • 在Windows上通過pip安裝Python軟體包
    介紹1.1 介紹python是一個可以做很多事情的語言,之所以可以做很多事情是因為python有非常多的軟體包,不同的功能需要使用不同的軟體包,python自帶了一個軟體包管理功能——pip,我們管理python的軟體包就可以用pip這個工具了。要學習python就必須學會軟體包的安裝、升級、卸載等等操作,下面童鞋們就跟著福哥來學習pip的使用方法吧。2.
  • Python中PIP的快速指南
    無論您是Python新手還是有經驗的Python開發人員,不使用pip安裝命令是不可能編寫或開發Python應用程式的。在這篇文章中,我將對Pip進行詳細介紹。Pip是Python Package Manager的縮寫。
  • python應用之基於tensorflow的數據擬合:深度學習之預測入門篇
    實驗目的:1、了解python在深度學習領域的應用2、學習安裝python第三方依賴庫實驗環境:已正確安裝python3.5以及依賴庫tensorflow、matplotlib預測過程展示:1、應用領域
  • Python 深度學習,你的 Keras 準備好了嗎?
    該書是由 Keras 作者寫的,所以全書基本圍繞著 Keras 講深度學習的各種實現,從 CNN,RNN 到 GAN 等,偏入門,但理論和實戰部分都講的還不錯,承載著很多作者對深度學習整體性的思考。總之,Keras 非常適合大家快速上手深度學習項目。好了,今天從基礎開始,教大家在 win10 系統中,使用 Anaconda + TensorFlow + Keras,快速搭建一個 Keras 的開發環境(CPU 版本),非常容易。1.
  • python小白Keras 教程:Python 深度學習終極入門指南
    開始之前, 請注意, 本指南是面向對應用深度學習感興趣的初學者的.我們旨在向你介紹一個最流行的同時也是功能最強大的, 用於建立神經網絡的 Python 庫. 這意味著我們將跳過許多理論與數學知識, 但我們還是會向你推薦一些學習這些的極好的資源.
  • python之通過pip安裝Django
    pip是啥在使用Python語言進行開發時,肯定避免不也下載或安裝各種各樣的第三方包,那麼,pip就是這樣一個工具,幫助你完成包的管理工作,如查找,下載,安裝,卸載等。Django是啥Python中,有許多的框架級的包,這些內容可以幫助你快速完成自己想完成的工作。
  • 你不得不懂的conda和pip --還在找conda與pip?三分鐘全掌握
    本機上運行的所有python程序依賴模塊統一安裝在一起,工程多了,依賴模塊包多了,變成一個超大依賴倉庫,當某個工程需要移到其它機器上運行時,將整個超大依賴倉庫一起轉移?當我在開發不同工程時用到不同版本的python時,需要不同的python環境,修改系統變量切換python環境?這個時候是否發現python的世界要一團糟了,當然這些方法都不可取,這個時候我們的conda工具應運而生,專來拯救世界。
  • 基於TensorFlow的深度學習實戰
    毫不誇張得說,TensorFlow的流行讓深度學習門檻變得越來越低,只要你有Python和機器學習基礎,入門和使用神經網絡模型變得非常簡單。TensorFlow簡介如前所述,TensorFlow是一個深度學習庫,使用這一框架,可以用來構建和測試深度神經網絡。深度學習讓我們能夠以極高的準確性構建複雜的應用程式。
  • Python初學者請注意!別這樣直接運行python命令,否則電腦等於「裸奔」
    原因當然是Python簡明易用的腳本語法,只需把一段程序放入.py文件中,就能快速運行。而且Python語言很容易上手模塊。比如你編寫了一個模塊my_lib.py,只需在調用這個模塊的程序中加入一行import my_lib即可。這樣設計的好處是,初學者能夠非常方便地執行命令。但是對攻擊者來說,這等於是為惡意程序大開後門。
  • Python實戰 | 基於 Flask 部署 Keras 深度學習模型
    1、項目簡介該部分簡要介紹一下前一段時間所做的工作:這是第一次進行深度學習模型的 web 應用部署,在整個過程中,進一步折射出以前知識面之窄,在不斷的入坑、解坑中實現一版。2、項目流程這部分從項目實施的流程入手,記錄所做的工作及用到的工具。2.1 圖像分類模型1.
  • 為什麼您應該使用`python -m pip`
    python -m pip是什麼?首先,python -m pip會使用您指定為python的Python解釋器來執行pip。因此,/usr/bin/python3.7 -m pip表示您正在執行位於/usr/bin/python3.7的解釋器的pip。如果您不熟悉這個標誌以及它是如何工作的,您可以閱讀有關-m的文檔(它非常方便)。
  • 又是pip汙染!Python pip ssh-decorate被發現存在後門代碼
    文/圖 阿里安全獵戶座實驗室近日,國外媒體有安全人員爆出Python pip ssh-decorate被發現存在後門代碼!對,又是pip汙染。pip是python的開源包資源庫。然而,這個開源庫的管理是十分鬆散的。尤其在安全方面並沒有嚴格的審核機制。一個用戶只需要一個email即可註冊帳戶,然後即可上傳其源文件到pip資源中。而這個pip資源是被世界上所有python用戶使用下載的。如果有人夾雜惡意代碼上傳了某個包,並以常見程序的名字命名,比如zip,ssh,smb,ftp。
  • 深度學習與LabVIEW(一)
    主要講述如何將深度學習模型應用在LabVIEW環境中,並修改深度學習模型訓練自己的數據集。
  • Keras 教程: Python 深度學習終極入門指南
    開始之前, 請注意, 本指南是面向對應用深度學習感興趣的初學者的.我們旨在向你介紹一個最流行的同時也是功能最強大的, 用於建立神經網絡的 Python 庫. 這意味著我們將跳過許多理論與數學知識, 但我們還是會向你推薦一些學習這些的極好的資源.
  • Keras深度學習框架配置
    項目代碼是在Windows 7上運行的,主要用到的Matlab R2013a和Python,其中Matlab用於patch的分割和預處理,卷積神經網絡搭建用到了根植於Python和Theano的深度學習框架Keras。
  • python深度學習---帶你從入門到精通
    深度學習在搜索技術,數據挖掘,機器學習,機器翻譯,自然語言處理,多媒體學習,語音,推薦和個性化技術,以及其他相關領域都取得了很多成果。深度學習使機器模仿視聽和思考等人類的活動,解決了很多複雜的模式識別難題,使得人工智慧相關技術取得了很大進步。
  • 【機器學習】人人都可以做深度學習應用:入門篇(中)
    本文承接上篇文章人人都可以做深度學習應用:入門篇(上)(請戳我),在本文會總結深度學習環境的搭建以及一個經典的demo:識別手寫數字(MNIST
  • Python日課-2.4-pip的使用
    Python 日課 2021-01-13:pip 的使用今天的Python日課,我們來講講學習 Python 過程中最重要的一個工具:pip 。下面以在 Python3.9.1 中安裝外部模塊 pillow 為例,講解一下 pip 的用法:python -m pip install pillow