Google Colab 免費GPU 教程

hitrjj發表於2018-02-13

Google Colab 免費GPU 教程

近日google的互動式工具Colaboratory推出GPU支援的版本,支援免費的Tesla K80,可以使用Keras、Tensorflow和Pytorch等前端。

這裡寫圖片描述

Google Colab是谷歌開源的一款類似jupyter的互動式工具,互動式的使用一系列庫。要使用免費的GPU 我們接下來就一步步開始學習如何使用。

1.首先在Google Drive建立一個資料夾

Colab工作在Google Drive上,我們首先需要新建一個資料夾隨後在資料夾中新建一個Colaboratory環境,並設定成自己喜歡的名字;

建立新檔案|center

新增應用

這裡寫圖片描述

2.設定免費的GPU環境

我們需要在Edit下選擇Notebook settings中選擇相應的python版本和硬體(Hardware Accelerator)就可以將GPU 設定成預設的執行硬體;

這裡寫圖片描述

3.這時候就可以利用配置好的Colab進行python程式碼的計算啦,例如下面的一些簡單python程式碼,左邊的小按鈕可以方便的執行程式碼;

這裡寫圖片描述

4.配置依賴庫執行環境,這一步我們要安裝必要的庫並配置環境,文章中為我們提供了程式碼可以直接執行:

!apt-get install -y -qq software-properties-common python-software-properties module-init-tools
!add-apt-repository -y ppa:alessandro-strada/ppa 2>&1 > /dev/null
!apt-get update -qq 2>&1 > /dev/null
!apt-get -y install -qq google-drive-ocamlfuse fuse
from google.colab import auth
auth.authenticate_user()
from oauth2client.client import GoogleCredentials
creds = GoogleCredentials.get_application_default()
import getpass
!google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret} < /dev/null 2>&1 | grep URL
vcode = getpass.getpass()
!echo {vcode} | google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret}

5.執行程式碼後會得到下面的輸出,將下面的驗證碼輸入後進行授權:

這裡寫圖片描述

6.掛載到你的Google Drive:

!mkdir -p drive
!google-drive-ocamlfuse drive
!pip install -q keras //安裝Keras
這個時候就可以GPU環境就搭建好了。這時候你就可以執行一些好玩的例子了

7.可以上傳一個mnist_cnn.py的檔案,這時候就可以執行這個python檔案,

這裡寫圖片描述

!python3 drive/app/mnist_cnn.py

這一程式碼同時會下載對應的資料,並執行訓練演算法;

這裡寫圖片描述

8.一些有用的建議

1.如何安裝庫
安裝keras:
!pip install -q keras
import keras

安裝PyTorch:
!pip install -q http://download.pytorch.org/whl/cu75/torch-0.2.0.post3-cp27-cp27mu-manylinux1_x86_64.whl torchvision
import torch

安裝Opencv:
!apt-get -qq install -y libsm6 libxext6 && pip install -q -U opencv-python
import cv2

安裝XGBoost:
!pip install -q xgboost==0.4a30
import xgboost

安裝圖形庫GraphViz
!apt-get -qq install -y graphviz && pip install -q pydot
import pydot

安裝解壓工具7zip Reader
!apt-get -qq install -y libarchive-dev && pip install -q -U libarchive
import libarchive

安裝其他的工具包使用下面的命令:
!pip install or !apt-get install 想要安裝的包

2.檢視GPU是否在工作呢?
這時候需要用到tensorflow的命令
import tensorflow as tf
tf.test.gpu_device_name()

對應不同的裝置你就會看到不同的顯示:

這裡寫圖片描述

目前Colab只提供Tesla K80 GPU,你同時可以利用下面的指令來檢視:
from tensorflow.python.client import device_lib
device_lib.list_local_devices()

能顯示出你的所有使用的硬體;

3、執行中的資訊顯示
我們還需要檢視記憶體資訊或者CPU資訊,可以使用下面的命令:
記憶體:!cat /proc/meminfo
處理器:!cat /proc/cpuinfo

寫在最後:
Colab真是給各位AI的小夥伴帶來了極為便利的研究環境,不僅有著十分友好的互動介面,同時還有著GPU的支援,以後做科研媽媽再也不擔心我沒有GPU用了!

快去註冊個賬號開始使用吧:
https://research.google.com/colaborator

原文:
https://medium.com/deep-learning-turkey/google-colab-free-gpu-tutorial-e113627b9f5d
Update:
還有一個稱為floydhub的GPU雲有空也可試試 https://www.floydhub.com/

相關文章