Windows的Linux子系統搭建資料科學環境
近日看到R語言中文社群上一篇關於Windows的Linux子系統搭建Python和R環境的文章,加上蝦神也在宣傳,於是我也動手來玩一玩。之前很早就瞭解過WSL,但一直沒動手使用,趁機來學習一下。
1 Windows Subsystem for Linux(WSL)簡介
簡介一下WSL。
Windows Subsystem for Linux(簡稱WSL)是一個為在Windows 10上能夠原生執行Linux二進位制可執行檔案(ELF格式)的相容層。它是由微軟與Canonical公司合作開發,目標是使純正的Ubuntu 14.04 "Trusty Tahr"映像能下載和解壓到使用者的本地計算機,並且映像內的工具和實用工具能在此子系統上原生執行。WSL提供了一個微軟開發的Linux相容核心介面(不包含Linux程式碼),來自Ubuntu的使用者模式二進位制檔案在其上執行。該子系統不能執行所有Linux軟體,例如那些圖形使用者介面,以及那些需要未實現的Linux核心服務的軟體。不過,這可以用在外部X伺服器上執行的圖形X Window系統緩解。此子系統起源於命運多舛的Astoria專案,其目的是允許Android應用執行在Windows 10 Mobile上。此功能元件從Windows 10 Insider Preview build 14316開始可用。——維基百科
2 WSL安裝
在開始選單裡搜尋"Microsoft Store"。
接著在"Microsoft Store"中搜尋"Linux"。
從中選擇一個Linux的發行版安裝即可。我選的是Ubuntu 18.04 LTS,個人比較熟悉Ubuntu,同時也想試一下18.04版本。點選獲取後,"Microsoft Store"就會自動下載安裝。當然安裝完後,你可以把它固定到開始螢幕比較方便。
當然現在啟動WSL是失敗的,因為還得在Windows中啟用該功能。依舊是在開始選單搜尋Windows功能。
接著打鉤"適用於Linux的Windows子系統"。
這個時候就能愉快地開啟Ubuntu系統了(當然一般上面勾選完需要重啟系統,這類就跳過了)。
如果第一次啟動的話,會要求你建立一個Linux的賬戶和密碼,熟悉Linux系統的同學應該很清楚了,這就不多說了,如果不熟悉的,建議去學習一下Linux的基礎管理和操作。這樣就愉快地可以開始在Windows上玩耍Linux系統了。另外這個系統其實是安裝在如下的地址內,這樣子後期管理時也可以快速上手使用。
C:Users你的使用者名稱AppDataLocalPackagesCanonicalGroupLimited.Ubuntu18.04onWindows_79rhkp1fndgscLocalStaterootfs
同時WSL直接將你的其他磁碟掛載到了mnt資料夾下面,可以直接通過/mnt/d訪問。
cd /mnt/f
ls -l
如果覺得下載速度略慢的話,完全可以更新apt原始檔來提速。可以看到在/etc/apt下面的sources.list
我們這裡在自己的F盤建立了一個WSL的工作空間,可以用來做各種相關的事情,譬如這裡在更新apt原始檔前,先備份到這個空間內。需要提醒下,我這裡都先執行了sudo su,以root賬戶執行。所以不需要在命令前加sudo,如果不是root賬戶,請加sudo。
mkdir /mnt/f/WSLworkspace
cp /etc/apt/sources.list /mnt/f/WSLworkspace/sourcesbackup.list
而替換源通常使用vim或者gedit來操作,這個時候知道我們的系統安裝路徑的好處就來了。只需要在Windows上開啟對應資料夾下的sources.list(建議用Notepad++),複製貼上就可以。給出幾個源。
清華
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic main restricted universe multiverse
deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic main restricted universe multiverse
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-updates main restricted universe multiverse
deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-updates main restricted universe multiverse
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-backports main restricted universe multiverse
deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-backports main restricted universe multiverse
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-security main restricted universe multiverse
deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-security main restricted universe multiverse
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-proposed main restricted universe multiverse
deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-proposed main restricted universe multiverse
阿里源
deb http://mirrors.aliyun.com/ubuntu/ bionic main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-security main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-updates main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-proposed main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-backports main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-security main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-updates main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-proposed main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-backports main restricted universe multiverse
中科大
deb https://mirrors.ustc.edu.cn/ubuntu/ bionic main restricted universe multiverse
deb-src https://mirrors.ustc.edu.cn/ubuntu/ bionic main restricted universe multiverse
deb https://mirrors.ustc.edu.cn/ubuntu/ bionic-updates main restricted universe multiverse
deb-src https://mirrors.ustc.edu.cn/ubuntu/ bionic-updates main restricted universe multiverse
deb https://mirrors.ustc.edu.cn/ubuntu/ bionic-backports main restricted universe multiverse
deb-src https://mirrors.ustc.edu.cn/ubuntu/ bionic-backports main restricted universe multiverse
deb https://mirrors.ustc.edu.cn/ubuntu/ bionic-security main restricted universe multiverse
deb-src https://mirrors.ustc.edu.cn/ubuntu/ bionic-security main restricted universe multiverse
deb https://mirrors.ustc.edu.cn/ubuntu/ bionic-proposed main restricted universe multiverse
deb-src https://mirrors.ustc.edu.cn/ubuntu/ bionic-proposed main restricted universe multiverse
接著就可以進行更新軟體了。
sudo apt-get update
sudo apt-get upgrade
3 WSL搭建資料科學環境
接下來就是搭建資料科學環境(Python和R)了。這裡推薦安裝Anaconda,當然如果想從頭開始安裝也是允許的。先去Anaconda 官網找到最新的版本。我Windows上基本都是Python2,因此在這個版本上主要以Python3為主,就是圖中紅框的。下載連結如下。
https://repo.continuum.io/archive/Anaconda3-2018.12-Linux-x86_64.sh
接著用wget下載,可以改變路徑。
wget -P /mnt/f/WSLworkspace https://repo.continuum.io/archive/Anaconda3-2018.12-Linux-x86_64.sh
接下來就是安裝Anaconda3。
bash /mnt/f/WSLworkspace/Anaconda3-2018.12-Linux-x86_64.sh
中間可以選擇安裝位置,這裡預設安裝在/root/Anaconda3,接著就等待安裝結束了。安裝過程中會提示是否將Anaconda3新增到環境變數,選yes。安裝完會提示是否要安裝Microsoft VS code,我建議可以不裝。接著再Linux命令列裡敲入。
jupyter lab --allow-root
關於這個的配置有一些參考的內容見後面的連結,這裡不詳細展開,如果以root賬戶執行的話必須加上--allow -root。
接著在Windows瀏覽器裡訪問http://localhost:8888/lab?。
除了Python3,我們還推薦裝個R,用於混合程式設計。這個時候畢竟本機已經安裝了原生R,我決定在Linux上搭建一個Microsoft R Open(MRO)。同樣是開啟MRO官網
利用wget下載MRO。
wget -P /mnt/f/WSLworkspace https://mran.blob.core.windows.net/install/mro/3.5.1/microsoft-r-open-3.5.1.tar.gz
由於我用的Ubuntu18.04,還需要安裝libpng12庫。
wget -P /mnt/f/WSLworkspace https://mirrors.kernel.org/ubuntu/pool/main/libp/libpng/libpng12-0_1.2.54-1ubuntu1_amd64.deb
dpkg -i libpng12-01_1.2.54-1ubuntu1_amd64.deb
定位到MRO下載路徑。
cd /mnt/f/WSLworkspace
tar -xf microsoft-r-open-3.5.1.tar.gz
cd microsoft-r-open
./install.sh
接著需要看MRO和MKL的許可,先按回車看許可,接著按q鍵退出,按y進行安裝。
R安裝好後,還需要配置到jupyter中。首先需要先安裝devtools,Ubuntu 18.04還需要先安裝libssl。
apt-get install libssl-dev
接著進入到R中。
install.packages('devtools')
library(devtools)
install_github('IRKernel/IRkernel')
這邊發現IRkernel裝不上,還需要裝libcurl。
apt-get install libcurl4-openssl-dev
最後發現github連線老有問題。
Github也有一個相同的issues,可以安裝離線包,在github上點選clone or download,下載到資料夾中。
devtools::install('/mnt/f/WSLworkspacre/IRkernel-master')
終於安裝成功。最後在R裡,再敲入如下命令。
IRkernel::installspec(name = 'ir35', displayname = 'MRO')
大功告成。
執行一波程式碼。
雖然R語言中文社群給出了比較完整的教程,但是具體搭建過程中,還是無數的坑。希望大家也是動手實踐為主。最近發現好多需要在Linux系統上安裝的包和庫,因此有這個環境非常地好。
參考連結:
再見虛擬機器!在Win10中使用Linux版本的R和Python
Ubuntu 18.04 軟體源修改成國內源(檔案或介面形式)
Running as root is not recommended. Use --allow-root to bypass
Running as root is not recommended. Use --allow-root to bypass
Github Issues:Installation of packages using Devtools Fails - error setting certificate
error setting certificate verify locations, install_github
無法安裝github上的R包:error setting certificate verify
Github Issues:Installation failed: Timeout was reached during installation of IRkernel
相關文章
- 【MySQL資料庫】認識資料庫+環境搭建--------Windows系統MySql資料庫Windows
- linux系統資料庫開發環境搭建Linux資料庫開發環境
- Linux系統環境搭建Linux
- 在 Fedora 上搭建 Jupyter 和資料科學環境資料科學
- 來學一學LINUX系統中SHELL環境的搭建技巧Linux
- (一)Linux環境的學習環境的搭建Linux
- Windows搭建Superset環境學習Windows
- EAS系統環境的搭建
- Windows系統中搭建python開發環境WindowsPython開發環境
- Windows系統下使用Sublime搭建nodejs環境WindowsNodeJS
- Windows環境下的Nginx環境搭建WindowsNginx
- Windows10系統下LAMP開發環境的搭建WindowsLAMP開發環境
- Linux開發環境搭建——deepin系統的使用Linux開發環境
- Linux學習環境搭建Linux
- Win10 下的 WSL (Linux 子系統) 開發環境搭建 (基礎配置)Win10Linux開發環境
- windows環境下Django環境搭建WindowsDjango
- Flutter環境搭建(Windows)FlutterWindows
- go windows 環境搭建GoWindows
- git windows 環境搭建GitWindows
- 學Python用什麼系統環境好?Linux還是Windows?PythonLinuxWindows
- Windows環境安裝Linux系統及JDK部署WindowsLinuxJDK
- Windows和Linux系統下的Conda環境遷移WindowsLinux
- Flutter學習(一)——搭建開發環境(Windows)Flutter開發環境Windows
- Windows10系統下使用Docker搭建ClickHouse開發環境WindowsDocker開發環境
- 超詳細,Windows系統搭建Flink官方練習環境Windows
- RedHat/CentOs系統搭建lnmp環境RedhatCentOSLNMP
- Windows 下搭建 lnmp 環境WindowsLNMP
- Windows下搭建Solr環境WindowsSolr
- windows下搭建lisp環境WindowsLisp
- Python3 環境搭建(Windows和Linux)PythonWindowsLinux
- 使用window10系統搭建完善的Linux開發環境Linux開發環境
- 學習N點虛擬主機系統環境搭建
- Windows 的 Linux 子系統之 Arch LinuxWindowsLinux
- Docker容器下快速搭建Hyperf框架在Windows系統的本地開發環境Docker框架Windows開發環境
- 【PYTHON3】環境搭建+程式設計之路的開始------Windows系統Python程式設計Windows
- Win10 下的 WSL (Linux 子系統) 開發環境搭建 (PHP+Nginx+MySQL+Composer+SSH)Win10Linux開發環境PHPNginxMySql
- FFmpeg開發筆記(一)搭建Linux系統的開發環境筆記Linux開發環境
- Flutter系列(三)——環境搭建(Windows)FlutterWindows