如何使用flask將模型部署為服務

西西嘛呦發表於2021-05-13
Flask模型

在某些場景下，我們需要將機器學習或者深度學習模型部署為服務給其它地方呼叫，本文接下來就講解使用python的flask部署服務的基本過程。

1. 載入儲存好的模型

為了方便起見，這裡我們就使用簡單的分詞模型，相關程式碼如下：model.py

import jieba


class JiebaModel:
    def load_model(self):
        self.jieba_model = jieba.lcut

    def generate_result(self, text):
        return self.jieba_model(text, cut_all=False)

說明：在load_model方法中載入儲存好的模型，無論是sklearn、tensorflow還是pytorch的都可以在裡面完成。在generate_result方法中定義處理輸入後得到輸出的邏輯，並返回結果。

2. 使用flask起服務

程式碼如下：test_flask.py

# -*-coding:utf-8-*-
from flask import Flask, request, Response, abort
from flask_cors import CORS
# from ast import literal_eval
import time
import sys
import json
import traceback

from model import JiebaModel

app = Flask(__name__)
CORS(app) # 允許所有路由上所有域使用CORS

@app.route("/", methods=['POST', 'GET'])
def inedx():
    return '分詞程式正在執行中'

@app.route("/split_words", methods=['POST', 'GET'])
def get_result():
    if request.method == 'POST':
        text = request.data.decode("utf-8")
    else:
        text = request.args['text']

    try:
        start = time.time()
        print("使用者輸入",text)
        res = jiebaModel.generate_result(text)
        end = time.time()
        print('分詞耗時：', end-start)
        print('分詞結果：', res)
        result = {'code':'200','msg':'響應成功','data':res}
    except Exception as e:
        print(e)
        result_error = {'errcode': -1}
        result = json.dumps(result_error, indent=4, ensure_ascii=False)
        # 這裡用於捕獲更詳細的異常資訊
        exc_type, exc_value, exc_traceback = sys.exc_info()
        lines = traceback.format_exception(exc_type, exc_value, exc_traceback)
        # 提前退出請求
        abort(Response("Failed!\n" + '\n\r\n'.join('' + line for line in lines)))
    return Response(str(result), mimetype='application/json')


if __name__ == "__main__":
    jiebaModel = JiebaModel()
    jiebaModel.load_model()
    app.run(host='0.0.0.0', port=1314, threaded=False)

說明：我們定義了一個get_result()函式，對應的請求是ip:port/split_words。 首先我們根據請求是get請求還是post請求獲取資料，然後使用模型根據輸入資料得到輸出結果，並返回響應給請求。如果遇到異常，則進行相應的處理後並返回。在__main__中，我們引入了model.py的JiebaModel類，然後載入了模型，並在get_result()中呼叫。

3. 傳送請求並得到結果

程式碼如下:test_request.py

import requests

def get_split_word_result(text):
    res = requests.post('http://{}:{}/split_words'.format('本機ip', 1314), data=str(text).encode('utf-8'))
    print(res.text)

get_split_word_result("我愛北京天安門")

說明：通過requests傳送post請求，請求資料編碼成utf-8的格式，最後得到響應，並利用.text得到結果。

4. 效果呈現

（1）執行test_flask.py
image
（2）執行test_request.py
image
並在起服務的位置看到：
image
至此，我們的整個流程就完成了。

相關文章