Caffe + Ubuntu 15.04 + CUDA 7.0 安裝以及配置

南山牧笛發表於2015-12-06
Ubuntu
作為小碼農的我，昨天就在裝這個東東了，主要參考第一篇博文，但是過程發現很多問題，經過反反覆覆，千錘百煉，終於柳暗花明，我把這個caffe給搞定了，是故，我釋出出來，後之來者，欲將有感於斯文~
本分分為四個部分，在Ubuntu上除錯執行成功，第一部分：nVidia驅動和CUDA Toolkit的安裝和除錯；第二部分 Python安裝和除錯；第三部分 Matlab安裝和除錯；第四部分 Caffe的安裝和測試。

第一部分：nVidia驅動和CUDA Toolkit的安裝和除錯

這裡以CUDA 7.0為例。

一、CUDA Repository

獲取CUDA安裝包,安裝包請自行去NVidia官網下載。

$ sudo dpkg -i cuda-repo-ubuntu1410-7-0-local_7.0-28_amd64.deb

$ sudo apt-get update

二、CUDA Toolkit

$ sudo apt-get install -y cuda

三、Environment Variables

$ export CUDA_HOME=/usr/local/cuda-7.0

$ export LD_LIBRARY_PATH=${CUDA_HOME}/lib64

$ PATH=${CUDA_HOME}/bin:${PATH}

$ export PATH

第二部分 Python安裝和除錯

1. 安裝IDE執行環境

選擇一個適合你的IDE執行環境，我是用的是Spyder，因為它內建了 iPython 環境，Caffe有不少的程式是基於 iPython 環境完成的。安裝方法很簡單，直接在Ubuntu軟體中心搜尋“spyder”即可安裝。

2. iPython NoteBook 安裝

另外一個比較推薦的方法是使用iPyhthon NoteBook（基於瀏覽器的Python IDE），特別是適合需要用Python做教程的老師們，可以直接匯出.py, .ipynb, html格式，安裝步驟如下：

$ sudo apt-get install -y ipython-notebook pandoc

啟動(自動開啟瀏覽器):

$ ipython nootbook

一個簡單的使用iPython NoteBook生成的html的例子：examples_notebook.html  example_notebook.ipynb

3. 配置和編譯pycaffe

第三部分 Matlab安裝和除錯


1. 降級安裝gcc/g++版本為4.7.x

(1). 下載gcc/g++ 4.7.x

$ sudo apt-get install -y gcc-4.7

$ sudo apt-get install -y g++-4.7

(2). 連結gcc/g++實現降級

$ cd /usr/bin

$ sudo rm gcc

$ sudo ln -s gcc-4.7 gcc

$ sudo rm g++

$ sudo ln -s g++-4.7 g++

2. 暴力引用新版本GLIBCXX_3.4.20

$ sudo cp /usr/lib/x86_64-linux-gnu/libstdc++.so.6.0.20 /usr/local/MATLAB/R2014a/sys/os/glnxa64/libstdc++.so.6.0.20 然後cd /usr/local/MATLAB/R2014a/sys/os/glnxa64/

$ sudo mv libstdc++.so.6 libstdc++.so.6.backup

$ sudo ln -s libstdc++.so.6.0.20 libstdc++.so.6

$ sudo ldconfig -v

通過命令“strings /usr/local/MATLAB/R2014a/sys/os/glnxa64/libstdc++.so.6 | grep GLIBCXX_” 可以看一下，是否已經成功包含了GLIBCXX_3.4.20，如果已經存在，基本上就成功了。

6.編譯Matlab用到的caffe檔案（見第五部分）

第四部分 Caffe的安裝和測試

在caffe的github上下載安裝包，解壓得到caffe-master資料夾。

一、安裝BLAS

這裡可以選擇（ATLAS，MKL或者OpenBLAS），這裡使用MKL。

$ tar zxvf parallel_studio_xe_2015.tar.gz （如果你是直接拷貝壓縮檔案過來的）

$ chmod a+x parallel_studio_xe_2015 -R

$ sudo ./install_GUI.sh

二、MKL與CUDA的環境設定

1. 新建intel_mkl.conf， 並編輯之：

$ sudo gedit /etc/ld.so.conf.d/intel_mkl.conf

/opt/intel/lib/intel64

/opt/intel/mkl/lib/intel64

2. 新建cuda.conf，並編輯之：

$ sudo gedit /etc/ld.so.conf.d/cuda.conf

/usr/local/cuda/lib64

/lib

3. 完成lib檔案的連結操作，執行：

$ sudo ldconfig -v

三、安裝OpenCV 3.0.0

To install the dependencies required from OpenCV, just run the following commands:

sudo apt-get -y install libopencv-dev build-essential cmake git libgtk2.0-dev pkg-config python-dev python-numpy libdc1394-22 libdc1394-22-dev libjpeg-dev libpng12-dev libtiff4-dev libjasper-dev libavcodec-dev libavformat-dev libswscale-dev libxine-dev libgstreamer0.10-dev libgstreamer-plugins-base0.10-dev libv4l-dev libtbb-dev libqt4-dev libfaac-dev libmp3lame-dev libopencore-amrnb-dev libopencore-amrwb-dev libtheora-dev libvorbis-dev libxvidcore-dev x264 v4l-utils unzip

  1. Create a temporary directory, which we denote as <cmake_binary_dir>, where you want to put the generated Makefiles, project files as well the object files and output binaries.

  2. Enter the <cmake_binary_dir> and type

    cmake [<some optional parameters>] <path to the OpenCV source directory>

    For example

    cd ~/opencv
mkdir release
cd release
cmake -D CMAKE_BUILD_TYPE=RELEASE -D CMAKE_INSTALL_PREFIX=/usr/local ..

  3. Enter the created temporary directory (<cmake_binary_dir>) and proceed with:

    make
sudo make install
  4. 配置openCV引數設定
    sudo gedit/etc/ld.so.conf.d/opencv.conf
    sudo ldconfig
    sudo gedit/etc/bash.bashrc   加入：
    PKG_CONFIG_PATH=$PKG_CONFIG_PATH:/usr/local/lib/pkgconfig
    export PKG_CONFIG_PATH

    至此，OpenCV安裝配置完畢
    




四、安裝其他依賴項



1. Google Logging Library（glog），下載地址：https://code.google.com/p/google-glog/，然後解壓安裝：



$ tar zxvf glog-0.3.3.tar.gz  然後cd進入目錄



$ ./configure



$ make



$ sudo make install



如果沒有許可權就chmod a+x glog-0.3.3 -R , 或者索性 chmod 777 glog-0.3.3 -R , 裝完之後，這個資料夾就可以kill了。



2. 其他依賴項，確保都成功



$ sudo apt-get install -y libprotobuf-dev libleveldb-dev libsnappy-dev libopencv-dev libboost-all-dev libhdf5-serial-dev



$ sudo apt-get install -y libgflags-dev libgoogle-glog-dev liblmdb-dev protobuf-compiler



五、安裝Caffe並測試



1. 安裝pycaffe必須的一些依賴項：



$ sudo apt-get install -y python-numpy python-scipy python-matplotlib python-sklearn python-skimage python-h5py python-protobuf python-leveldb python-networkx python-nose python-pandas python-gflags Cython ipython



$ sudo apt-get install -y protobuf-c-compiler protobuf-compiler



2. 安裝配置nVidia cuDNN 加速Caffe模型運算



a. 安裝cuDNN



該改版本caffe-master預設支援cudnn-6.5-linux-x64-v2，安裝前請去先官網下載最新的cuDNN。建議安裝v3版本，把一下相應6.5改成7.0即可，方法一樣。



$ sudo cp cudnn.h /usr/local/include



$ sudo cp libcudnn.so /usr/local/lib



$ sudo cp libcudnn.so.6.5 /usr/local/lib



$ sudo cp libcudnn.so.6.5.48 /usr/local/lib



b. 連結cuDNN的庫檔案



$ sudo ln -sf /usr/local/lib/libcudnn.so.6.5.48 /usr/local/lib/libcudnn.so.6.5



$ sudo ln -sf /usr/local/lib/libcudnn.so.6.5 /usr/local/lib/libcudnn.so



$ sudo ldconfig -v



3. 從github上下載caffe,為Caffe-master的資料夾，cd進去，生成Makefile.config配置檔案，執行：



$ cp Makefile.config.example Makefile.config



4. 配置Makefile.config檔案（僅列出修改部分）



sudo gedit Makefile.config



a. 啟用CUDNN，去掉"#"（目前caffe-master仍然只支援R1版本）



USE_CUDNN := 1



b. 啟用GPU，新增註釋"#"



# CPU_ONLY := 1



c. 配置一些引用檔案（增加部分主要是解決新版本下，HDF5的路徑問題）



INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include /usr/lib/x86_64-linux-gnu/hdf5/serial/include



LIBRARY_DIRS := $(PYTHON_LIB) /usr/local/lib /usr/lib /usr/lib/x86_64-linux-gnu/hdf5/serial



溫馨提示：ctr+f搜尋在後面新增多餘的內容



d. 啟用Intel Parallel Studio XE 2015 Professional Edition for C++ Linux



BLAS := mkl



e. 配置路徑，實現caffe對Python和Matlab介面的支援



PYTHON_LIB := /usr/local/lib



MATLAB_DIR := /usr/local/MATLAB/R2014a







f. 啟用python_layer



WITH_PYTHON_LAYER :=1



5. 配置Makefile檔案（實現對OpenCV 3.x的支援）



sudo gedit Makefile



查詢“Derive include and lib directories”一節，修改“LIBRARIES +=”的最後一行，增加opencv_imgcodecs



opencv_core opencv_highgui opencv_imgproc opencv_imgcodecs







6. 編譯caffe-master！！！一定要重啟電腦，重啟電腦，因為顯示卡驅動裝完需要重啟才能生效，本人在這裡搞了兩次，後來才發現問題的本質，哎。"-j8"是使用CPU的多核進行編譯，可以極大地加速編譯的速度，建議使用。



$ make all -j8



$ make test -j8



$ make runtest -j8



編譯Python和Matlab用到的caffe檔案



$ make pycaffe -j8



$ make matcaffe -j8



六、使用MNIST資料集進行測試



cd進入caffe-master目錄下



1. 資料預處理



$ sh data/mnist/get_mnist.sh



2. 重建lmdb檔案。Caffe支援三種資料格式輸入網路，包括Image(.jpg, .png等)，leveldb，lmdb，根據自己需要選擇不同輸入吧。



$ sh examples/mnist/create_mnist.sh



生成mnist-train-lmdb 和 mnist-train-lmdb資料夾，這裡包含了lmdb格式的資料集



3. 訓練mnist



$ sh examples/mnist/train_lenet.sh



至此，Caffe安裝的所有步驟完結，下面是一組簡單的資料對比，實驗來源於MNIST資料集，主要是考察一下不同系統下CPU和GPU的效能。可以看到明顯的差別了。






相關文章