20種小技巧,玩轉Google Colab

2020-12-06 TechWeb

Google Colab 給廣大的 AI 開發者提供了免費的 GPU,你可以在上面輕鬆地跑 Tensorflow、Pytorch 等深度學習框架。但關於 Colab 的使用技巧你又掌握了多少呢?這篇文章將介紹 20 種 Colab 使用技巧,幫你提高使用效率。

1. 便籤本 Notebook

當我們在 colab 上嘗試一些臨時的東西時,我們會創建一堆雜亂、沒有標題的 Notebook。

為了解決這個問題,你可以把以下連結加入書籤:https://colab.research.google.com/notebooks/empty.ipynb

這將打開一個特殊的 scratch notebook,並且你對該 notebook 所做的任何更改都不會保存到你的主目錄中。

2. 單元計時

通常,我們手動計算一段代碼的開始時間和結束時間之間的差值來衡量所花費的時間。Colab 提供了內置功能來執行此操作。在執行了一個單元(cell)之後,將滑鼠懸停在單元運行圖標上,你將獲得代碼執行時間的估計值。

3. 運行某個單元的一部分

你也可以運行某個單元的一部分,通過選擇單元格並點擊 Runtime 索引到 Run Selection 按鈕或使用鍵盤快捷鍵 Ctrl + Shift + Enter。

4. Jupyter Notebook 快捷鍵

快捷鍵為編程帶來了便利,但 Jupyter Notebook 中的快捷鍵不能直接在 Colab 中使用。不過,這裡有一個關係映射表來解決這一問題。從中可以看出,你只需要在 Jupyter 的快捷鍵前面加上「Ctrl +M」就能在 Colab 中使用。此規則適用於大多數快捷鍵。

以下是一些特例,其快捷方式已完全更改或保持不變。

5. 跳轉到類定義

與 IDE 相似,你可以通過按 Ctrl 鍵,然後單擊一個類名來跳轉到類定義。例如,在這裡我們通過按 Ctrl 並單擊 Dense 類名來查看 Keras 中 Dense 層的類定義。

6. 在 GitHub 中打開 Notebooks

Google Colab 團隊提供了官方的 Chrome 擴展程序。使用 colab 時,可以直接在 GitHub 上打開 notebooks。

擴展程序下載地址:https://chrome.google.com/webstore/detail/open-in-colab/iogfkhleblhcpcekbiedikdehleodpjo

安裝後,單擊 GitHub notebook 的 colab 圖標直接將其打開。

或者,你也可以手動打開 GitHub notebook,將 github.com 替換為 colab.research.google.com/github 即可。

https://github.com/fastai/course-v3/blob/master/nbs/dl1/00_notebook_tutorial.ipynb

替換為

https://colab.research.google.com/github/fastai/course-v3/blob/master/nbs/dl1/00_notebook_tutorial.ipynb

甚至更簡單的方法是用 githubtocolab.com 替換 github.com。

https://github.com/fastai/course-v3/blob/master/nbs/dl1/00_notebook_tutorial.ipynb

替換為

https://githubtocolab.com/fastai/course-v3/blob/master/nbs/dl1/00_notebook_tutorial.ipynb

7. 從 Colab 運行 Flask 應用

使用 flask-ngrok 庫(https://github.com/gstaff/flask-ngrok),你可以輕鬆地將運行在 colab 上的 Flask Web 應用程式轉換為一個 demo 原型。

首先,你需要安裝 flask 和 flask-ngrok。

!pip install flask-ngrok flask==0.12.2 

然後,你只需要將「flask app」對象傳遞給「run_with_ngrok」函數,它將在啟動伺服器時公開 ngrok 端點。

from flask import Flaskfrom flask_ngrok import run_with_ngrok  app = Flask(__name__)run_with_ngrok(app)  @app.route('/')def hello(): return 'Hello World!' if __name__ == '__main__': app.run() 

8. 在 Tensorflow 版本之間切換

你可以很容易地在 Tensorflow 1 和 Tensorflow 2 之間切換。

要切換到 Tensorflow 1.15.2,請使用以下命令:

%tensorflow_version 1.x 

要切換到 Tensorflow 2.2,請運行以下命令:

%tensorflow_version 2.x 

你需要重新啟動才能生效。出於性能考慮,Colab 建議使用預安裝的 Tensorflow 版本,而不是用 pip 命令安裝它。

9. Tensorboard 集成

Colab 還提供了一個命令,可以直接從 notebook 使用 Tensorboard。你只需要使用 --logdir 設置日誌目錄位置。

你可以從官方 notebook 學到它的使用方法:https://colab.research.google.com/github/tensorflow/tensorboard/blob/master/docs/tensorboard_in_notebooks.ipynb。

%load_ext tensorboard%tensorboard --logdir logs 

10. 查看資源限制

Colab 為他們的免費版本和專業版本提供了以下規格。根據自己的情況,如果你需要更好的運行時間、GPU 和內存,你可以以每月 10 美元的價格切換到專業版本。

可以通過運行以下命令查看你已經被分配到的 GPU:

!nvidia-smi 

有關 CPU 的信息,可以運行此命令:

!cat /proc/cpuinfo 

此外,你還可以通過運行以下命令查看 RAM 容量

import psutilram_gb = psutil.virtual_memory().total / 1e9print(ram_gb) 

11. 使用交互式 shell

Colab 中沒有內置的交互終端。但是可以使用 bash 命令以交互方式試用 shell 命令。只需運行此命令,你將獲得交互式輸入。

!bash 

現在,你可以在給定的輸入框中運行任何 shell 命令。

要退出 shell,只需在輸入框中鍵入 exit。

12. 當前的內存和存儲使用情況

Colab 提供了 RAM 和磁碟使用情況的指示器。如果將滑鼠懸停在指示器上,將彈出一個窗口,其中包含當前內存和存儲使用情況和總容量。

13.「Open in Colab」 標誌

你可以使用如下 markdown 代碼在 README.md 或 jupyter notebooks 中添加「Open in Colab 」標誌。

在這段代碼中,我們正在加載 SVG 圖片,然後將其連結到 colab notebook。

[![Open In Colab](https://colab.research.google.com/assets/colab-badge.svg)](https://colab.research.google.com/notebooks/basic_features_overview.ipynb) 

14. Pandas 交互表

Colab 提供了一個 notebook 擴展,用於向 pandas dataframes 添加交互式排序和過濾功能。要使用它,請運行以下代碼。

%load_ext google.colab.data_table 

在加載下面的擴展之後,你可以看到常規的 pandas dataframe 和交互式 dataframe。

15. 設置 Conda 環境

如果將 miniconda 用作 python 環境管理器,你可以通過在 notebook 頂部運行以下命令,在 colab 上對其進行設置。

# Download Miniconda installation script!wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh# Make it executable!chmod +x Miniconda3-latest-Linux-x86_64.sh# Start installation in silent mode!bash ./Miniconda3-latest-Linux-x86_64.sh -b -f -p /usr/local# Make conda packages available in current environmentimport syssys.path.append('/usr/local/lib/python3.7/site-packages/') 

執行完單元後,你可以照常使用 conda 安裝軟體包。

!conda install -y flask 

16. 從命令行管理 Colab Notebooks

你可以使用名為 colab-cli 的庫輕鬆創建 colab notebooks 並將其與本地 notebooks 同步:https://github.com/Akshay090/colab-cli

17. 運行後臺任務

在某些情況下,我們需要先啟動一些 Web 伺服器或後臺任務,然後才能執行常規程序。

要運行後臺任務,請使用「nohup」命令,然後使用常規的 shell 命令,並在末尾添加「&」使其在後臺運行。這樣確保可以在之後的 notebook 中運行單元,而不會被後臺任務終止。

!nohup bash ping.sh & 

18. 提醒訓練完成

如果你要執行耗時較長的任務(例如訓練模型),你可以將 Colab 設置為在完成後發送桌面通知。

要啟用此功能,請轉到「Tools ⮕ Settings ⮕ Site」,然後啟用「Show desktop notifications」複選框。

這時將彈出一個窗口,以啟用瀏覽器通知。只要接受它,即使你在另一個選項卡、窗口或應用程式上,colab 也會在任務完成時通知你。

19. 運行 javascript 代碼

使用 %%javascript 命令運行 javascript 代碼。

20. 在 Colab 上運行 VSCode

你可以在 Colab 上運行完整的 VSCode。請參考文檔:https://amitness.com/vscode-on-colab/。

 

相關焦點

  • 使用Google Colab上的PyTorch YOLOv3
    開始谷歌Colab地址:https://colab.research.google.com/github/vindruid/yolov3-in-colab/blob/master/yolov3_video.ipynb。yolo的git倉庫:https://github.com/ultralytics/yolov3。
  • GOOGLE搜客戶別樣技巧
    技巧1:@的妙用      很多國家的買家都用一些公共郵箱系統,如印度的rediff.com。這時,就可連同「@」和你要找的商品名稱寫到google.com搜索欄中。幸運的話,你會找到很多買家,少的也能有一兩個。
  • 韋編| Google的免費雲端環境,還不試試?
    作為一個入門數據科學的新手,在初期真是遇到各種各樣的問題,其中很大一個問題便是環境的配置,各種包的安裝,電腦的內存不夠,想嘗試深度學習,看了看顯卡的價格還是望而卻步,帶有顯卡的雲服務商還都是按小時計費,完全不適合我這種一點小錯誤能磨蹭半天的人……各種教程收集得越來越多,真正能夠實踐完成的卻屈指可數
  • 看了這20個搜索技巧你就不會這麼想了
    在本文中,我們提到了一些最好的谷歌搜索技巧,它們會讓你重新思考「如何在Google上搜索」,從而最大限度地利用它。在這些技巧的幫助下,你將能夠使用谷歌更快更有效地找到你想要的東西! 在谷歌上搜索的20種方式技巧 1、使用正確的谷歌網址 我們知道https://www.google.com是谷歌的網址。
  • lol手遊google帳號登陸
    英雄聯盟手遊已經在部分地區的公測,國內玩家可以通過加速器下載,但成功下載安裝遊戲後,你還需要有帳號才能進入遊戲,目前可支持的登錄帳號有谷歌帳號、拳頭帳號等,而在註冊帳號的時候大家也會遇到各種麻煩,小編繼續給大家分享下谷歌帳號註冊方法!
  • 增值欣狂潮 神行者玩轉google earth全攻略
    2、設置DaGEarthShot1.0軟體  A、進入界面,可設置截圖高度,城市一般為800M到1000M,郊區一般為4000M到20000M,數字越大,所截範圍越大,地圖容量越小。  B、設置輸出路徑和CACHE目錄,根據你的硬碟空間配置目錄,最好有20G以上的硬碟空間作為交換區。  C、一般用戶請設為打鉤狀態,這樣截圖完成後就可以自動生成地圖了。
  • 玩轉TensorFlow?你需要知道這30功能
    hl=zh-cn5)TFX 模型分析我最喜歡用 TensorFlow 模型分析功能去檢查模型的輸入數據或者模型推理過程中可能發生在某一小部分數據上的問題。網址是:https://github.com/tensorflow/models20)Dopamine這是一個用於原型化強化學習算法的、易於訪問的框架
  • Google Earth的十個常用技巧應用
    下面,我就介紹一下我自己在使用Google Earth這個軟體的過程中,總結的一些常用的技巧和應用。 1、根據經緯度定位地標的方法在Search面板的Fly To輸入框中,輸入一個經緯度,按回車,就可以直接「飛」到那個位置。其間採用的那種動畫效果,讓我們產生一種遨遊地球的奇妙感覺。
  • 美女人像PS七種武器之 20秒玩轉白平衡
    其實處理這個問題並不是很難,只需簡單的幾個步驟就能將白平衡調準,接下來就請各位網友欣賞《美女人像PS七種武器》系列文章的第一篇——玩轉白平衡。·20秒玩轉白平衡  攝影這個行當發展到數碼時代不再僅僅依靠前期拍攝者的攝影水平和所用相機器材的性能,後期處理,也就是大家俗稱的「PS」對最後照片效果的貢獻已經和前期拍照構圖平起平坐。
  • 一件毛衣還能玩轉溫度變化?這樣穿搭好省錢,-5℃~20℃都適合
    其實搭配好了,不少衣服都可以季節混穿,今天就為大家介紹下毛衣如何玩轉溫度變化,既省錢又有時尚感,最重要的是5℃~20℃都適合哦。如何挑選一件適合自己的毛衣?-5℃~20℃的環境下如何穿搭?20℃左右時,毛衣搭配半身裙,這種搭配在這個氣溫穿最合適不過,腿粗的女生首選穿搭,可以很好的遮住腿上的肉肉,如果是小個子女生的話穿搭半身裙不要過長,可以把毛衣塞進裙腰裡,再搭上一條裝飾皮帶,會拉高腰身比例,很顯高哦。
  • 最實用的5大論文避免抄襲檢測修改技巧
    最實用的5大論文避免抄襲檢測修改技巧 每當畢業季來臨,廣大應屆畢業生都開始面臨畢業論文的困擾! 方法:查閱研究領域外文文獻,特別是高水平期刊的文獻,將其中的理論講解翻譯成中文,放在自己的論文中。這樣安全有效。 缺點:不過這種方法有很高的英語水平才能實現。對於英語一般的同學,可以自行去聯繫英語水準高的同學進行幫助。
  • 怎麼玩轉iphone x?原來這些隱藏功能我們都不知道!
    接下來為大家介紹一些小技巧。讓你們玩轉iphonex。如何玩轉iPhone X?首先就要知道它與以往的iPhone 有何不同!它的功能與設計又有了哪些創新!首先是iPhone X取消了Home實體鍵,採用了更為先進的Face ID面部識別功能;還有就是它的手勢交互上有了很大的改變!
  • 谷歌Colab有了V100加持,薅羊毛快樂再次加倍
    另外一位專業版的用戶也曬出了截圖:「我是 Google colab 專業版用戶。每當連接到服務時,我都會習慣性檢查獲得了哪個 GPU。今天看到 V100 時,我第一次感到有點震驚,再次運行命令進行檢查,沒錯,就是 V100。」
  • 如何訪問google申請Google帳號的方法
    對於google公司來說,google帳號(用戶或帳戶)和gmail郵箱(帳號)都是同一個概念,可以通用使用google郵箱的格式來登錄使用。鑑於目前網際網路中google的強勢,很多人目前還沒有使用過google的帳號,並且google在市面上很多產品,都要求有google帳號來方便管理,下面就來介紹一下如何申請google帳號先找到一個能切換IP位址的工具,進入官網下載好壓縮包客戶端之後解壓到桌面上,雙擊裡面的exe圖標輸入已經註冊好的用戶名和密碼,點登陸進入軟體界面,選擇節點,點啟動加速
  • Baidu與Google地圖API初探
    前天周六,有個好友過來玩,他說想在他的網站中加入地圖導航模塊,但不知道選擇哪個第三方Map API 在網上查了下Baidu、Google、QQ和MapBar等4種Map API(都是採用JS開放API),也查看了它們的SDK開發文檔,