資料專家必知必會的 7 款 Python 工具

發表於2015-07-20

如果你有志於做一個資料專家，你就應該保持一顆好奇心，總是不斷探索，學習，問各種問題。線上入門教程和視訊教程能幫你走出第一步，但是最好的方式就是通過熟悉各種已經在生產環境中使用的工具而為成為一個真正的資料專家做好充分準備。

我諮詢了我們真正的資料專家，收集整理了他們認為所有資料專家都應該會的七款 Python 工具。The Galvanize Data Science 和 GalvanizeU 課程注重讓學生們花大量的時間沉浸在這些技術裡。當你找第一份工作的時候，你曾經投入的時間而獲得的對工具的深入理解將會使你有更大的優勢。下面就瞭解它們一下吧：

IPython

IPython 是一個在多種程式語言之間進行互動計算的命令列 shell，最開始是用 python 開發的，提供增強的內省，富媒體，擴充套件的 shell 語法，tab 補全，豐富的歷史等功能。IPython 提供瞭如下特性:

更強的互動 shell（基於 Qt 的終端）
一個基於瀏覽器的記事本，支援程式碼，純文字，數學公式，內建圖表和其他富媒體
支援互動資料視覺化和圖形介面工具
靈活，可嵌入直譯器載入到任意一個自有工程裡
簡單易用，用於平行計算的高效能工具

由資料分析總監，Galvanize 專家 Nir Kaldero 提供。

GraphLab Greate

GraphLab Greate 是一個 Python 庫，由 C++ 引擎支援，可以快速構建大型高效能資料產品。

這有一些關於 GraphLab Greate 的特點：

可以在您的計算機上以互動的速度分析以 T 為計量單位的資料量。
在單一平臺上可以分析表格資料、曲線、文字、影象。
最新的機器學習演算法包括深度學習，進化樹和 factorization machines 理論。
可以用 Hadoop Yarn 或者 EC2 聚類在你的筆記本或者分佈系統上執行同樣的程式碼。
藉助於靈活的 API 函式專注於任務或者機器學習。
在雲上用預測服務便捷地配置資料產品。
為探索和產品監測建立視覺化的資料。

由 Galvanize 資料科學家 Benjamin Skrainka 提供。

Pandas

pandas 是一個開源的軟體，它具有 BSD 的開源許可，為 Python 程式語言提供高效能，易用資料結構和資料分析工具。在資料改動和資料預處理方面，Python 早已名聲顯赫，但是在資料分析與建模方面，Python 是個短板。Pands 軟體就填補了這個空白，能讓你用 Python 方便地進行你所有資料的處理，而不用轉而選擇更主流的專業語言，例如 R 語言。

整合了勁爆的 IPyton 工具包和其他的庫，它在 Python 中進行資料分析的開發環境在處理效能，速度，和相容方面都效能卓越。Pands 不會執行重要的建模函式超出線性迴歸和皮膚迴歸；對於這些，參考 statsmodel 統計建模工具和 scikit-learn 庫。為了把 Python 打造成頂級的統計建模分析環境，我們需要進一步努力，但是我們已經奮鬥在這條路上了。

由 Galvanize 專家，資料科學家 Nir Kaldero 提供。

PuLP

線性程式設計是一種優化，其中一個物件函式被最大程度地限制了。PuLP 是一個用 Python 編寫的線性程式設計模型。它能產生線性檔案，能呼叫高度優化的求解器，GLPK，COIN CLP/CBC，CPLEX，和GUROBI，來求解這些線性問題。

由 Galvanize 資料科學家 Isaac Laughlin 提供

Matplotlib

matplotlib 是基於 Python 的 2D（資料）繪相簿，它產生（輸出）出版級質量的圖表，用於各種列印紙質的原件格式和跨平臺的互動式環境。matplotlib 既可以用在 python 指令碼, python 和 ipython 的 shell 介面 (ala MATLAB® 或 Mathematica®)，web 應用伺服器，和6類 GUI 工具箱。

matplotlib 嘗試使容易事情變得更容易，使困難事情變為可能。你只需要少量幾行程式碼，就可以生成圖表，直方圖，能量光譜（power spectra），柱狀圖，errorcharts，散點圖（scatterplots）等,。

為簡化資料繪圖，pyplot 提供一個類 MATLAB 的介面介面，尤其是它與 IPython 共同使用時。對於高階使用者，你可以完全定製包括線型，字型屬性，座標屬性等，藉助物件導向介面介面，或項 MATLAB 使用者提供類似（MATLAB）的介面。

Galvanize 公司的首席科學官 Mike Tamir 供稿。

Scikit-Learn

Scikit-Learn 是一個簡單有效地資料探勘和資料分析工具（庫）。關於最值得一提的是，它人人可用，重複用於多種語境。它基於 NumPy，SciPy 和 mathplotlib 等構建。Scikit 採用開源的 BSD 授權協議，同時也可用於商業。Scikit-Learn 具備如下特性:

分類（Classification） – 識別鑑定一個物件屬於哪一類別
迴歸（Regression） – 預測物件關聯的連續值屬性
聚類（Clustering） – 類似物件自動分組集合
降維（Dimensionality Reduction） – 減少需要考慮的隨機變數數量
模型選擇（Model Selection） –比較、驗證和選擇引數和模型
預處理（Preprocessing） – 特徵提取和規範化

Galvanize 公司資料科學講師，Isaac Laughlin提供

Spark

Spark 由一個驅動程式構成，它執行使用者的 main 函式並在聚類上執行多個並行操作。Spark 最吸引人的地方在於它提供的彈性分佈資料集（RDD），那是一個按照聚類的節點進行分割槽的元素的集合，它可以在平行計算中使用。RDDs 可以從一個 Hadoop 檔案系統中的檔案（或者其他的 Hadoop 支援的檔案系統的檔案）來建立，或者是驅動程式中其他的已經存在的標量資料集合，把它進行變換。使用者也許想要 Spark 在記憶體中永久儲存 RDD，來通過並行操作有效地對 RDD 進行復用。最終，RDDs 無法從節點中自動復原。

Spark 中第二個吸引人的地方在並行操作中變數的共享。預設情況下，當 Spark 在並行情況下執行一個函式作為一組不同節點上的任務時，它把每一個函式中用到的變數拷貝一份送到每一任務。有時，一個變數需要被許多工和驅動程式共享。Spark 支援兩種方式的共享變數：廣播變數，它可以用來在所有的節點上快取資料。另一種方式是累加器，這是一種只能用作執行加法的變數，例如在計數器中和加法運算中。