從零開始：TensorFlow機器學習模型快速部署指南

執行後，你會發現每張影象花費時間約為 0.1 秒，這樣的速度快到可以線上使用了。

將單點推斷轉換成線上推斷（其他 ML 框架）

• Caffe 使用其 net.forward 程式碼，詳見：nbviewer.jupyter.org/github/BVLC…。

• Mxnet 也很獨特：它實際上已開源可用的推斷伺服器程式碼：github.com/awslabs/mxn…。

部署

計劃是將程式碼封裝進 Flask app。Flask 是一個輕量級 Python 網頁框架，允許用極少的工作執行 http api 伺服器。

作為快速推斷，下列 Flask app 接受 multipart/form-data 的 POST 請求：

#!/usr/bin/env python
# usage: python echo.py to launch the server ; and then in another session, do
# curl -v -XPOST 127.0.0.1:12480 -F "data=@./image.jpg"
from flask import Flask, request
app = Flask(__name__)
@app.route('/', methods=['POST'])
def classify():
    try:
       data = request.files.get('data').read()
       print repr(data)[:1000]
       return data, 200
    except Exception as e:
       return repr(e), 500
app.run(host='127.0.0.1',port=12480)複製程式碼

下面是對應的 Flask app，可連線上文提到的 run_graph：

And here is the corresponding flask app hooked up to run_graph above:

#!/usr/bin/env python
# usage: bash tf_classify_server.shfrom flask import Flask, request
import tensorflow as tf
import label_image as tf_classify
import json
app = Flask(__name__)
FLAGS, unparsed = tf_classify.parser.parse_known_args()
labels = tf_classify.load_labels(FLAGS.labels)
tf_classify.load_graph(FLAGS.graph)
sess = tf.Session()
@app.route('/', methods=['POST'])
def classify():
    try:
       data = request.files.get('data').read()
       result = tf_classify.run_graph(data, labels, FLAGS.input_layer, FLAGS.output_layer, FLAGS.num_top_predictions, sess)
       return json.dumps(result), 200
    except Exception as e:
       return repr(e), 500
app.run(host='127.0.0.1',port=12480)
複製程式碼

看起來還不錯，除了 Flask 和 TensorFlow 完全同步以外：執行影象分類時，Flask 按照接收請求的順序一次處理一個請求，而 TensorFlow 完全佔用執行緒。

如上所述，速度的瓶頸可能仍然在於實際計算量，因此升級 Flask 封裝器程式碼沒有太大意義。或許該程式碼足以處理載入。有兩個明顯的方式可以擴大請求吞吐量：通過增加工作執行緒的數量來水平擴大請求吞吐量（下一節將講述），或利用 GPU 和批邏輯（batching logic）垂直擴大請求吞吐量。後者的實現要求網頁伺服器一次處理多個掛起請求，並決定是否等待較大批次還是將其傳送至 TensorFlow 圖執行緒進行分類，對此 Flask app 完全不適合。兩種方式使用 Twisted + Klein 用 Python 寫程式碼；如果你偏好第一類事件迴圈支援，並希望能夠連線到非 Python ML 框架如 Torch，則需要使用 Node.js + ZeroMQ。

擴充套件：負載平衡和服務發現

現在我們已經有一個模型可用的伺服器，但是它可能太慢，或我們的負載太高。我們想執行更多此類伺服器，那麼我們應該怎樣在多個伺服器上對其進行分佈呢？普通方法是新增一個代理層，可以是 haproxy 或 nginx，可以平衡後端伺服器之間的負載，同時向使用者呈現一個統一的介面。下面是執行初級 Node.js 負載平衡器 http proxy 的示例程式碼：

// Usage : node basic_proxy.js WORKER_PORT_0,WORKER_PORT_1,...
const worker_ports = process.argv[2].split(',')
if (worker_ports.length === 0) { console.err('missing worker ports') ; process.exit(1) }
const proxy = require('http-proxy').createProxyServer({})proxy.on('error', () => console.log('proxy error'))let i = 0require('http').createServer((req, res) => {
    proxy.web(req,res, {target: 'http://localhost:' + worker_ports[ (i++) % worker_ports.length ]})
}).listen(12480)
console.log(`Proxying localhost:${12480} to [${worker_ports.toString()}]`)

// spin up the ML workersconst { exec } = require('child_process')
worker_ports.map(port => exec(`/bin/bash ./tf_classify_server.sh ${port}`))

複製程式碼

為了自動檢測後端伺服器的數量和地址，人們通常使用一個「服務發現」工具，它可能和負載平衡器捆綁在一起，也可能分開。一些有名的工具，如 Consul 和 Zookeeper。設定並學習如何使用此類工具超出了本文範疇，因此，我使用 node.js 服務發現包 seaport 推斷了一個非常初級的代理。代理程式碼：

// Usage : node seaport_proxy.js
const seaportServer = require('seaport').createServer()
seaportServer.listen(12481)
const proxy = require('http-proxy').createProxyServer({})
proxy.on('error', () => console.log('proxy error'))

let i = 0require('http').createServer((req, res) => {
    seaportServer.get('tf_classify_server', worker_ports => {
      const this_port = worker_ports[ (i++) % worker_ports.length ].port
      proxy.web(req,res, {target: 'http://localhost:' + this_port })
})
}).listen(12480)
console.log(`Seaport proxy listening on ${12480} to '${'tf_classify_server'}' servers registered to ${12481}`)複製程式碼

工作執行緒程式碼：

// Usage : node tf_classify_server.js
const port = require('seaport').connect(12481).register('tf_classify_server')
console.log(`Launching tf classify worker on ${port}`)
require('child_process').exec(`/bin/bash ./tf_classify_server.sh ${port}`)
複製程式碼

但是，在應用到機器學習時，這個配置會遇到頻寬問題。

系統如果每秒鐘處理數十、數百張圖片，它就會卡在系統頻寬上。在目前的裝配上，所有的資料需要通過我們的單個 seaport 主機，也是面向客戶端的單個端點。

為了解決這個問題，我們需要客戶不點選單個端點：http://127.0.0.1:12480，而是在後端伺服器間自動旋轉來點選。如果你懂網路架構，這聽起來更像是 DNS 的活。

但是，配置定製的 DNS 伺服器不在本文的討論範圍。把客戶端程式碼改編遵循成 2 階「手動 DNS」協議就行，我們能重複使用基本的 seaport proxy 來實現「端對端的」協議，其中客戶能直接連線到伺服器：

代理程式碼：

// Usage : node p2p_proxy.js
const seaportServer = require('seaport').createServer()
seaportServer.listen(12481)

let i = 0
require('http').createServer((req, res) => {
    seaportServer.get('tf_classify_server', worker_ports => {
      const this_port = worker_ports[ (i++) % worker_ports.length ].port
      res.end(`${this_port}
`)
  })
}).listen(12480)
console.log(`P2P seaport proxy listening on ${12480} to 'tf_classify_server' servers registered to ${12481}`)
複製程式碼

（worker code 和上面一樣）

客戶端程式碼：

curl -v -XPOST localhost:`curl localhost:12480` -F"data=@$HOME/flower_photos/daisy/21652746_cc379e0eea_m.jpg"複製程式碼

結論與擴充閱讀

這個時候，你應該上手做點什麼，但這肯定也不是不會過時的技術。在此文章中，還有很多重要的主題沒被覆蓋到：

• 在新硬體上的自動開發與裝配
  

• 在自己的硬體上，值得關注的工具包括 Openstack/VMware，還有安裝 Docker、管理網路路徑的 Chef/Puppet，安裝 TensorFlow、Python 等等的 Docker。

• 在雲端，Kubernetes 或者 Marathon/Mesos 都非常棒

• 模型版本管理

• 一開始手動管理模型不是很難
  

• TensorFlow Serving 是處理這個問題的不錯工具，還有批處理和整體部署，非常徹底。缺點是有點難以配置，也難以編寫客戶端程式碼，此外還不支援 Caffe/PyTorch。

• 如何從 Matlab 遷移機器學習程式碼？

• 在開發產品中不要用 Matlab（譯者注：僅代表作者觀點）。

• GPU 驅動、Cuda、CUDNN

• 使用英偉達容器並嘗試尋找一些線上 Dorckerfiles
  

• 後處理層。一旦你在開發產品過程中找到一些不同的機器學習模型，你可能想要混合這些模型，併為不同的使用案例匹配不同的模型——也就是模型 B 沒結果跑模型 A，在 Caffe 上跑模型 C，並把結果傳送到 TensorFlow 上跑的模型 D，等等。