最近在做遊戲服務分層的時候，一直想把mysql的訪問獨立成一個單獨的服務DBGate，原因如下:
- 請求收攏到DBGate，可以使DBGate變為無狀態的，方便橫向擴充套件
- 當請求量或者儲存量變大時，mysql需要做分庫分表，DBGate可以內部直接處理，外界無感知
- 通過restful限制對資料請求的形式，僅支援簡單的get/post/patch/put 進行增刪改查，並不支援複雜查詢。這個也是和遊戲業務的特性有關，如果網站等需要複雜查詢的業務，對此並不適合
- DBGate使用多程式模式，方便控制與mysql之間的連結數，進行mysql訪問量閥值保護
- 方便在DBGate上進行訪問量統計，慢查詢統計、許可權控制等等一系列邏輯
- 目前是使用python，以後要使用其他語言進行mysql操作時，只要進行標準的http請求即可，不會出現不相容的情況
當然壞處也是有的：
- 首當其衝就是單次請求的響應時間變長，畢竟中間加了一層服務，並且還是http格式
- 部署上比原來複雜了一些，很多對mysql直接操作的思維需要進行轉變，一開始可能會有些不適
不過總的來說，還是利大於弊，所以最終還是決定搭建DBGate
當然，我們不可能去手工挨個寫每個庫表對應的restful服務，值得慶幸的是django和flask都提供了對應的解決方案，我們一個個介紹.
Flask
參考連結: flask-restless
flask-restless使用方法比較簡單，我直接貼一下程式碼即可:
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 |
# -*- coding: utf-8 -*- import datetime from flask import Flask from flask_sqlalchemy import SQLAlchemy from flask_restless import APIManager app = Flask(__name__) db = SQLAlchemy(app) restless = APIManager(app, flask_sqlalchemy_db=db) class User(db.Model): """ user """ id = db.Column(db.Integer, primary_key=True) username = db.Column(db.String(255), unique=True, nullable=False) password = db.Column(db.String(255), nullable=False) create_time = db.Column(db.DateTime, nullable=False, default=datetime.datetime.utcnow) login_time = db.Column(db.DateTime) restless.create_api(User, methods=['GET', 'POST', 'DELETE', 'PATCH', 'PUT'], results_per_page=100) db.create_all() if __name__ == '__main__': app.run(port=25000) |
其對應的restful操作如下:
|
1 2 3 4 5 |
獲取使用者列表: GET /user 新增使用者: POST /user 獲取單個使用者: GET /user/1 覆蓋單個使用者: PUT /user/1 修改單個使用者: PATCH /user/1 |
注意:
- 在http請求中，記得加入header: Content-Type: application/json
- flask-restless中，PUT和PATCH一樣，都是傳入什麼欄位，只修改什麼欄位，不會完全覆蓋
Django
參考連結: Django REST framework
Django用起來要更復雜一些，也因為django版自帶了一個視覺化的操作頁面，如下:
1. 在settings中新增:
|
1 2 3 4 5 6 7 8 9 10 11 12 13 |
REST_FRAMEWORK = { # Use hyperlinked styles by default. # Only used if the `serializer_class` attribute is not set on a view. 'DEFAULT_MODEL_SERIALIZER_CLASS': 'rest_framework.serializers.HyperlinkedModelSerializer', # Use Django's standard `django.contrib.auth` permissions, # or allow read-only access for unauthenticated users. 'DEFAULT_PERMISSION_CLASSES': [ #'rest_framework.permissions.DjangoModelPermissionsOrAnonReadOnly', 'rest_framework.permissions.IsAdminUser', ] } |
2. 通過startapp建立一個app: demo
3. 修改demo的models:
|
1 2 3 4 5 |
class User(models.Model): # key是保留字 password = models.IntegerField() nick = models.CharField(max_length=255) create_time = models.DateTimeField(default=datetime.datetime.now) |
4. 在demo下新建serializers.py
|
1 2 3 4 5 |
class User(models.Model): # key是保留字 password = models.IntegerField() nick = models.CharField(max_length=255) create_time = models.DateTimeField(default=datetime.datetime.now) |
5. 在demo下修改views.py
|
1 2 3 4 5 6 7 8 9 |
from django.shortcuts import render from rest_framework import viewsets from serializers import UserSerializer from models import User class UserViewSet(viewsets.ModelViewSet): queryset = User.objects.all() serializer_class = UserSerializer |
6. 在demo下新建urls.py
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 |
import os.path from django.conf.urls import patterns, include, url from django.conf.urls.static import static from django.conf import settings import views from rest_framework import routers appname = os.path.basename(os.path.dirname(os.path.abspath(__file__))) router = routers.DefaultRouter() router.register('users', views.UserViewSet, appname) urlpatterns = patterns('', url(r'^', include(router.urls)), ) |
7. 在mysite.urls下include demo.urls和rest_framework.urls
|
1 2 3 4 5 |
urlpatterns = patterns('', url(r'^demo/', include('demo.urls')), url(r'^admin/', include(admin.site.urls)), url(r'^api-auth/', include('rest_framework.urls', namespace='rest_framework')) ) |
8. 執行初始化資料操作:
|
1 |
python manage.py syncdb |
之後訪問: http://127.0.0.1:8000/demo 即可看到如下介面了:
對應的測試程式碼如下:
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 |
import json import requests from urlparse import urljoin BASE_URL = 'http://127.0.0.1:16500/' AUTH = ('admin', 'admin') def test_get_user_list(): rsp = requests.get(urljoin(BASE_URL, '/demo/users/'), auth=AUTH, headers={ 'Accept': 'application/json' }) assert rsp.ok def test_post_user_list(): json_data = dict( password=0, nick='oo', create_time='2014-03-3T03:3:3' ) rsp = requests.post(urljoin(BASE_URL, '/demo/users/'), auth=AUTH, headers={ 'Accept': 'application/json', 'Content-Type': 'application/json', }, data=json.dumps(json_data)) assert rsp.ok def test_get_user(): rsp = requests.get(urljoin(BASE_URL, '/demo/users/1'), auth=AUTH, headers={ 'Accept': 'application/json', 'Content-Type': 'application/json', }) assert rsp.ok def test_put_user(): json_data = dict( password=100, nick='xx', create_time='2014-03-3T03:3:3' ) # 注意最後的 / rsp = requests.put(urljoin(BASE_URL, '/demo/users/1/'), auth=AUTH, headers={ 'Accept': 'application/json', 'Content-Type': 'application/json', }, data=json.dumps(json_data), ) assert rsp.ok, rsp.status_code def test_patch_user(): json_data = dict( password=300, ) rsp = requests.patch(urljoin(BASE_URL, '/demo/users/1/'), auth=AUTH, headers={ 'Accept': 'application/json', 'Content-Type': 'application/json', }, data=json.dumps(json_data), ) assert rsp.ok, rsp.status_code |
Django REST framework 是嚴格區分PUT和PATCH的，這一點和flask-restless 不一樣，需要注意。
OK，就這樣。