簡介
如果我們想要執行Python,通常有兩種方式,第一種方式就是在Python或者IPython的直譯器環境中進行互動式執行,還有一種方式就是程式設計師最喜歡的編寫.py檔案,在檔案中編寫python程式碼,然後執行。
如果我們想寫一篇關於Python的文章,文章裡面有程式碼,還希望程式碼能夠在當前頁面執行,可不可以做到呢?
可以的,那就是使用我們今天要介紹的Jupyter Notebook。
Jupyter Notebook
Jupyter專案是從Ipython專案中分出去的,在Ipython3.x之前,他們兩個是在一起釋出的。在Ipython4.x之後,Jupyter作為一個單獨的專案進行開發和管理。因為Jupyter不僅僅可以執行Python程式,它還可以執行其他流程程式語言的執行。
Jupyter Notebook包括三個部分,第一個部分是一個web應用程式,提供互動式介面,可以在互動式介面中執行相應的程式碼。
上圖是NoteBook的互動介面,我們可以對文件進行編輯,執行等操作。
主要的功能如下:
-
在瀏覽器中進行程式碼編輯,自動語法突出顯示,縮排和製表符完成/自檢功能。
-
從瀏覽器執行程式碼的能力,並將計算結果附加到生成它們的程式碼上。
-
使用諸如HTML,LaTeX,PNG,SVG等富媒體表示來顯示計算結果。例如,可以內嵌包含matplotlib庫渲染的具有出版質量的圖形。
-
使用Markdown標記語言在瀏覽器中對富文字進行的編輯(可以為程式碼提供註釋)不僅限於純文字。
-
使用LaTeX輕鬆在markdown單元中包含數學符號的能力,並由MathJax本地呈現。
第二個部分就是NoteBook的文件了,這個文件儲存了要執行的程式碼和一些描述資訊。一般這個文件是以.ipynb的字尾進行儲存的。
notebook文件是以json的形式儲存的,並用base64進行編碼。使用json的好處就是可以在不同的伺服器中方便的進行資料的互動。
Notebook documents中除了可執行的程式碼檔案,還可以儲存說明等解釋性內容,從而將程式碼和解釋內容完美結合,尤其適合做學習筆記使用。
筆記本可以通過nbconvert命令匯出為多種靜態格式,包括HTML,reStructuredText,LaTeX,PDF等多種格式。
另外文件還可以方便的在網路上進行共享。
第三個部分就是程式碼執行的核心Kernels,通過不同的Kernels搭配,notebook可以支援執行多種程式。比如:Python,java,go,R,ruby,nodejs等等。
這些Kernels和notebook之間是以Json的形式通過MQ來進行通訊的。
啟動notebook server
有了文件之後,如果我們想要執行文件,需要啟動notebook server。
jupyter notebook
預設情況下會開啟下面的URL: http://127.0.0.1:8888
啟動的時候還可指定要開啟的.ipynb檔案:
jupyter notebook my_notebook.ipynb
具體的notebook介面的操作這裡就不多介紹了,基本上和普通的編譯器差不多。大家可以自行探索。
notebook document 的結構
notebook中包含了多個cells,每個cell中包含了多行文字輸入欄位,可以通過Shift-Enter 或者工具欄中的播放按鈕來執行其中的程式碼。
這裡的cell有三種型別,分別是code cells,markdown cells和raw cells。
code cells
程式碼單元允許您編輯和編寫新程式碼,並突出顯示完整的語法和製表符。 您使用的程式語言取決於核心,預設核心(IPython)執行Python程式碼。
執行程式碼單元時,它包含的程式碼將傳送到與筆記本關聯的核心。 然後,從該計算返回的結果將在筆記本中顯示為單元格的輸出。 輸出不僅限於文字,還有許多其他可能的輸出形式,包括matplotlib圖形和HTML表格(例如,在pandas資料分析包中使用的表格)。
我們看一個code cells的例子:
#%%
import numpy as np
my_arr = np.arange(1000000)
my_list = list(range(1000000))
每個單元格是以 #%%
來進行分隔的。
Ipython本身還支援多種富文字的展示格式,包括HTML,JSON,PNG,JPEG,SVG,LaTeX等。
Ipython提供了一個display方法,我們可以使用display來展示要呈現的物件:
from IPython.display import display
display(obj)
將會尋找這個物件所有可能的展示型別,並從中挑選一個最適合的型別進行展示,並將結果儲存在Notebook文件裡面。
如果你想展示特定型別的物件,那麼可以這樣:
from IPython.display import (
display_pretty, display_html, display_jpeg,
display_png, display_json, display_latex, display_svg
)
舉個展示圖片的例子:
from IPython.display import Image
i = Image(filename='../images/ipython_logo.png')
i
display(i)
上面的例子中i包含了一個Image物件,直接呼叫i即可展示,我們也可以顯示的呼叫display(i)
。
其他的富文字型別可以參考Image,使用方法都是類似的。
markdown cells
markdown是一種簡介的標記語言,使用起來非常簡單,使用範圍非常廣泛,所以notebook document也支援markdown的語法。
先看一個markdown cell的例子:
#%% md
```python
$ python
Python 3.6.0 | packaged by conda-forge | (default, Jan 13 2017, 23:17:12)
[GCC 4.8.2 20140120 (Red Hat 4.8.2-15)] on linux
Type "help", "copyright", "credits" or "license" for more information.
>>> a = 5
>>> print(a)
5
```
markdown中的語法在notebook中都是可以用的。
還支援標準的LaTeX 和 AMS-LaTeX語法。
raw cells
原始單元格提供了一個可以直接寫入輸出的位置。 notebook不會對原始單元格中的內容進行計算。
以模組的形式匯入Jupyter Notebooks
有時候我們希望以模組的形式匯入Jupyter Notebooks,但是可惜的是,Jupyter Notebooks並不是一個標準的python程式,不過Python提供了一些鉤子程式,讓我們能夠方便的進行匯入。
首先,我們需要匯入一些基本的API :
import io, os, sys, types
from IPython import get_ipython
from nbformat import read
from IPython.core.interactiveshell import InteractiveShell
接下來需要註冊NotebookFinder到sys.meta_path:
sys.meta_path.append(NotebookFinder())
這個NotebookFinder就是定義的鉤子。
我們看下NotebookFinder的定義:
class NotebookFinder(object):
"""Module finder that locates Jupyter Notebooks"""
def __init__(self):
self.loaders = {}
def find_module(self, fullname, path=None):
nb_path = find_notebook(fullname, path)
if not nb_path:
return
key = path
if path:
# lists aren't hashable
key = os.path.sep.join(path)
if key not in self.loaders:
self.loaders[key] = NotebookLoader(path)
return self.loaders[key]
裡面使用了兩個重要的方法,find_notebook用來找到notebook,和NotebookLoader,用來載入notebook。
看下find_notebook的定義:
def find_notebook(fullname, path=None):
"""find a notebook, given its fully qualified name and an optional path
This turns "foo.bar" into "foo/bar.ipynb"
and tries turning "Foo_Bar" into "Foo Bar" if Foo_Bar
does not exist.
"""
name = fullname.rsplit('.', 1)[-1]
if not path:
path = ['']
for d in path:
nb_path = os.path.join(d, name + ".ipynb")
if os.path.isfile(nb_path):
return nb_path
# let import Notebook_Name find "Notebook Name.ipynb"
nb_path = nb_path.replace("_", " ")
if os.path.isfile(nb_path):
return nb_path
看下NotebookLoader的定義:
class NotebookLoader(object):
"""Module Loader for Jupyter Notebooks"""
def __init__(self, path=None):
self.shell = InteractiveShell.instance()
self.path = path
def load_module(self, fullname):
"""import a notebook as a module"""
path = find_notebook(fullname, self.path)
print ("importing Jupyter notebook from %s" % path)
# load the notebook object
with io.open(path, 'r', encoding='utf-8') as f:
nb = read(f, 4)
# create the module and add it to sys.modules
# if name in sys.modules:
# return sys.modules[name]
mod = types.ModuleType(fullname)
mod.__file__ = path
mod.__loader__ = self
mod.__dict__['get_ipython'] = get_ipython
sys.modules[fullname] = mod
# extra work to ensure that magics that would affect the user_ns
# actually affect the notebook module's ns
save_user_ns = self.shell.user_ns
self.shell.user_ns = mod.__dict__
try:
for cell in nb.cells:
if cell.cell_type == 'code':
# transform the input to executable Python
code = self.shell.input_transformer_manager.transform_cell(cell.source)
# run the code in themodule
exec(code, mod.__dict__)
finally:
self.shell.user_ns = save_user_ns
return mod
有了他們,我們就可以直接import我們自己編寫的notebook了。
本文已收錄於 http://www.flydean.com/12-jupyter-notebook/
最通俗的解讀,最深刻的乾貨,最簡潔的教程,眾多你不知道的小技巧等你來發現!
歡迎關注我的公眾號:「程式那些事」,懂技術,更懂你!