Google免費雲端環境Colaboratory的使用教程

2021-02-07 一顆慄子的小世界


        本文將給你推薦一個雲運行環境,它是由Google提供的Colaboratory,下文我統一簡稱為Colab。


      最近由於疫情的原因不能回學校,恰好實驗室機器又有點小問題,所以需要硬體支持的實驗就有點被擱置了。之前我也用過那種付費的GPU伺服器,總結為兩個字:昂貴!那不知道大家最近是否也因為尋找免費GPU伺服器而焦頭爛額呢?所以這個時候我就不得不介紹一下這個免費的GPU工具了,大家一起薅一下羊毛。當然它也有一些缺點,比如不穩定,很容易中斷,要頻繁授權等。但是作為基本使用,來跑一些小一點的實驗還是非常合適的。畢竟它免費!不要錢!


本文目錄:




[1]  Colab簡介

Colaboratory使用簡介: 

請用Google Chrome瀏覽器打開這個連結:

https://colab.research.google.com/notebooks/welcome.ipynb#scrollTo=xitplqMNk_Hc


Colaboratory特點介紹:

Colaboratory是一款研究工具,用於進行機器學習的培訓和研究。它是一個Jupyter筆記本環境,不需要進行任何設置就可以使用。

Colab 是谷歌內部類 Jupyter Notebook 的交互式 Python 環境,免安裝快速切換 Python 2和 Python 3 的環境,支持 Google 全家桶(TensorFlow、BigQuery、GoogleDrive 等),支持 pip。(使用Linux命令時,需要在最前面加上一個感嘆號來區分腳本和命令,即" ! ")

Colaboratory 筆記本存儲在 Google 雲端硬碟中,並且可以共享,就如同您使用 Google 文檔或表格一樣。Colaboratory 可免費使用。



[2]  連接Google Drive與新建Colab以及上傳本地文件至雲盤


由於這一部分是我在一年多以前寫的一個教程博客,圖文已經寫的非常詳細了,所以這裡我只放出連結,就不再重新寫了。

參考連結: https://blog.csdn.net/hahameier/article/details/86546090


比如你要使用Google雲盤和Colab,你肯定必須要有科學上網以及一個Google帳號。怎麼新建Colab文件、切換python版本、使用GPU等,在連結裡面都寫得非常詳細,所以我就不多說啦。



[3]  將Google Drive共享的資源轉存到自己的Google Drive



右鍵文件 --- 打開方式 --- 關聯更多應用 --- 在搜索框裡面輸入「copy」 --- 點擊下載安裝即可

(因為我已經下載好了應用插件,所以有顯示,如果你沒下載,就看不見「copy, url to google drive」)

然後選擇「複製」,即可將文件複製到自己的Google Drive裡面了。



[4]  Colab授權以及指定工作的路徑


在默認狀態下,Colab根本就不知道我們的數據文件夾在哪裡——即便我們本來就是從Google Drive的演示文件夾下面打開這個ipynb文件的。

授權前查看當前工作路徑:


所以我們首先要讓Colab找到Google Drive的根目錄。這原本是一個相對複雜的問題。但是好在我們有現成的代碼,可以拿來使用。貌似每隔一段時間之後,colab給分配的環境會被自動初始化,下次進來得重新掛載google drive。


我是新建了一個notebook,用來存儲授權過程,每次環境被清空了只要打開這個notebook重新執行一下就行。執行下面的代碼,中間會出現兩次提示要求你打開授權地址,填寫drive授權碼。兩次的授權權限不一樣,都要填寫。

!apt-get install -y -qq software-properties-common python-software-properties module-init-tools
!add-apt-repository -y ppa:alessandro-strada/ppa 2>&1 > /dev/null
!apt-get update -qq 2>&1 > /dev/null
!apt-get -y install -qq google-drive-ocamlfuse fuse
from google.colab import auth
auth.authenticate_user()
from oauth2client.client import GoogleCredentials
creds = GoogleCredentials.get_application_default()
import getpass
!google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret} < /dev/null 2>&1 | grep URLvcode = getpass.getpass()
!echo {vcode} | google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret}

註:出現"E: package 'python-software-....' has no installation candidate"的時候不要驚慌,等待即可。


填寫授權的認證:

註:兩個連結是不同的,都需要填寫


認證成功:


好了,現在Colab已經接管了你的Google Drive了。我們給Google Drive雲端硬碟的根目錄起個名字,叫做drive。

!mkdir -p drive!google-drive-ocamlfuse drive


指定當前工作路徑:

import os
os.chdir("drive/")


再次查看文件目錄和當前路徑:


我的雲盤文件列表:


好啦,現在路徑已經切換到我當下的目錄了,就可以進行下一步的文件讀取操作了。



[5]  Colab讀取Google Drive文件以及下載包


如果想要在Colab文件裡用代碼讀取Google Drive數據文件的內容則需要先進行上一步的授權。


import os
original_folder = "./audio/flusense_data"files = os.listdir(original_folder)


運行代碼時,發現導包失敗,進行下載:(要添加感嘆號來區分腳本和Linux命令)



好啦~大家可以盡情使用啦~

溫馨提示:Google Drive免費的只有15G的存儲空間哦~



Would you buy me a coffee~ ☕️



相關焦點

  • 入門 | 完全雲端運行:使用谷歌CoLaboratory訓練神經網絡
    它是一個 Jupyter 筆記本環境,不需要進行任何設置就可以使用,並且完全在雲端運行。Colaboratory 筆記本存儲在 Google 雲端硬碟 (https://drive.google.com/) 中,並且可以共享,就如同您使用 Google 文檔或表格一樣。Colaboratory 可免費使用。本文介紹如何使用 Google CoLaboratory 訓練神經網絡。
  • 免費!Google Colab現已支持英偉達T4 GPU
    Colab是Google的一項免費雲端機器學習服務,T4GPU耗能僅為70瓦,是面向現有數據中心基礎設施而設計的,可加速AI訓練和推理、機器學習、數據分析和虛擬桌面。Google Colab是Google內部Jupyter Notebook的交互式Python環境,不需要在本地做多餘配置,完全雲端運行,存儲在GoogleDrive中,可以多人共享,簡直跟操作Google Sheets一樣簡單。之前只提供英偉達Tesla K80,現在已經支持TPU了!
  • 免費深度學習環境 Google CoLaboratory 指北
    它是一個 Jupyter 筆記本環境,不需要進行任何設置就可以使用。這款工具可以免費使用嗎?是的。Colaboratory 是一個研究項目,可免費使用。Notebook存儲在哪裡?所有 Colaboratory 筆記本都存儲在 Google Drive中。
  • 使用Google Colaboratory訓練神經網絡
    Colaboratory十分好用,而且是免費的。Google最近發布了Google Colaboratory(g.co/colab)。Google Colaboratory原為Google數據科學編程的內部協作工具,現在Google把它作為公開服務發布出來。Google Colaboratory基於Jupyter開源項目,併集成了Google Drive。
  • 【新開源報導 18】谷歌開放內部工具 Colaboratory 來協助 AI 開發
    /https://research.google.com/colaboratory/faq.html等Google 一直致力於開放工具來協助 AI 開發。Colaboratory 是免費的,基於 Jupyter 項目,通常用於數據科學。Google 正在努力教其他公司使用人工智慧服務,Colaboratory 正式作為一種教育以及研究合作工具。使用 Colaboratory,用戶可以創建可與 Google Docs 同時編輯的筆記或文檔。
  • Google雲端硬碟使用方法
    點擊下方【公.眾.號】關注後,免費領取本文相關資料或教程(若資源失效,我們會儘快更新)谷歌雲端硬碟(Google Drive) [1] 是google提供的一項網盤服務,免費提供15G空間。儲存及共享各式各樣的檔案。
  • 工欲善其事必先利器-AI實驗環境指南:Google Colab+Clouderiser
    https://research.google.com/colaboratory/faq.html什麼是Google Colab?Google Colab是機器學習教育和研究的研究工具。這是一個Jupyter筆記本環境,無需設置,直接使用。支持哪些瀏覽器?
  • 谷歌免費GPU,在線Jupyter notebook深度學習環境
    這款工具現在可以免費使用,但是不是永久免費暫時還不確定。Google Colab最大的好處是給廣大的AI開發者提供了免費的GPU使用!GPU型號是Tesla K80!你可以在上面輕鬆地跑例如:Keras、Tensorflow、Pytorch等框架。
  • Google Colab基本使用技巧一覽
    這篇文章教你如何使用 Google Colab,更好地利用免費資源。Google Colab 是一個免費的 Jupyter 環境,用戶可以用它創建 Jupyter notebook,在瀏覽器中編寫和執行 Python 代碼,以及其他基於 Python 的第三方工具和機器學習框架,如 Pandas、PyTorch、Tensorflow、Keras、Monk、OpenCV 等。
  • 用 Python 使用 Google Colab?豈止是炫酷
    Google Colab 的好處在於,不需要任何配置就能直接上手使用,並提供免費的 GPU,你可以和任何人共享實時代碼、數學公式、數據可視化結果、數據處理、數值模擬、機器學習模型等各種項目。本文將介紹如何用 Python 使用 Google Colab,以及一些 Colab 使用技巧。
  • 用 Python 使用 Google Colab?豈止是白嫖GPU
    一篇教你如何使用 Google Colab,更好利用免費資源的文章。Google Colab 是一個免費的 Jupyter 環境,用戶可以用它創建 Jupyter notebook,在瀏覽器中編寫和執行 Python 代碼,以及其他基於 Python 的第三方工具和機器學習框架,如 Pandas、PyTorch、Tensorflow、Keras、Monk、OpenCV 等。
  • Google雲端硬碟電腦版
    點擊下方【公.眾.號】關注後,免費領取本文相關資料或教程(若資源失效,我們會儘快更新)谷歌雲端硬碟(Google Drive) [1] 是google提供的一項網盤服務,免費提供15G空間。儲存及共享各式各樣的檔案。
  • Google雲端硬碟我的服務
    點擊下方【公.眾.號】關注後,免費領取本文相關資料或教程(若資源失效,我們會儘快更新)谷歌雲端硬碟(Google Drive) [1] 是google提供的一項網盤服務,免費提供15G空間。儲存及共享各式各樣的檔案。
  • Google雲端硬碟怎麼卸載
    點擊下方【公.眾.號】關注後,免費領取本文相關資料或教程(若資源失效,我們會儘快更新)谷歌雲端硬碟(Google Drive) [1] 是google提供的一項網盤服務,免費提供15G空間。儲存及共享各式各樣的檔案。
  • Google Colaboratory中的TensorFlow入門
    如果您可以在任何地方使用TensorFlow而無需設置環境的麻煩怎麼辦?更好的是,如果你可以使用GPU免費訓練你的深度學習模型怎麼辦? Google Colaboratory(Colab)就是答案!這是一項非常令人興奮的技術,它使數據科學家能夠專注於構建機器學習模型而不是邏輯!
  • Google雲端硬碟怎麼控制手機
    點擊下方【公.眾.號】關注後,免費領取本文相關資料或教程(若資源失效,我們會儘快更新)谷歌雲端硬碟(Google Drive) [1] 是google提供的一項網盤服務,免費提供15G空間。儲存及共享各式各樣的檔案。
  • Google雲端硬碟申請註冊帳號
    點擊下方【公.眾.號】關注後,免費領取本文相關資料或教程(若資源失效,我們會儘快更新)谷歌雲端硬碟(Google Drive) [1] 是google提供的一項網盤服務,免費提供15G空間。儲存及共享各式各樣的檔案。
  • Colab使用筆記——快樂薅羊毛!
    這篇文章會講到以下幾個知識點什麼是colab熟悉工作環境如何使用GPU/TPU如何搭載Google Drive如何連接到本地使用命令連接到Google Cloud踩過的坑那就一個個來啦!簡單來說,Colab就是一個Jupyter工作環境,這個環境是搭載在雲端的。還有免費的可以GPU/TPU!直接打開就能用,不需要配置。Colab自帶Tensorflow,Torch這些工具包,省卻了很多安裝的麻煩。如果需要再裝一些安裝包也很容易,後面會講到。畢竟很多時候,工作都卡在了第一步——配置環境。
  • 免費使用heroku部署訪問google傻瓜式教程一
    並且他提供了免費版本,這使得我們這些平時想搞一些小東西的人提供了莫大的便捷,雖然他有時長和宕機的限制,但是對於個人小程序來說已經足夠了。Heroku 是一個平臺即服務(PaaS),使開發人員完成的在雲端編譯、運行和操作應用程式。
  • 雲資源-我又來用Colaboratory啦
    其實不是第一次使用 Colaboratory 啦,去年用的時候純小白,今年變灰了,但是一些基礎功能總還是忘記