Python如何優化列表介面進行分頁

大雄45發表於2021-10-10
導讀 最近,在做測試開發平臺的時候,需要對測試用例的列表進行後端分頁,在實際去寫程式碼和測試的過程中,發現這裡面還是有些細節的,故想覆盤一下

Python如何優化列表介面進行分頁Python如何優化列表介面進行分頁

分頁的目的

做個假設,加入用例庫有 1W 條資料,如果想要以列表形式展示,一次性返回 1W 條資料;

這樣做有兩個弊端:

1.這樣寫出來的介面會慢。想一下如果隨著時間的發展,這個數量變成了 10W、100W 該怎麼辦?

2.對前端不友好。用前端渲染 1W 條資料,有理智的開發都不會這麼做。

所以,我們做分頁的目的,主要是為了效能的提高,提高使用體驗。

我這邊開發語言是Python,Web框架用的是 Tornado,後臺資料庫用的是 Mongodb。

介面設計

首先,我們做一下介面的設計,如下:

HTTP URL: /api/admin/v1/case/list
HTTP Method: GET
Request Params
Reponse Data
{
    "code": 0,
    "message": null,
    "data": {
        "cases": [
            {
                "method": str,
                "url": str,
                "request_data"?: str,
                "request_params"?: str,
                "header": dict,
                "reponse_data"?: str
            },
            ...
        ],
        "count": int
    }
}

返回資料結構解析:

  • cases 的值是包含多個 case 物件的列表;
  • count 指的是 case 的總數,這樣前端就可以通過 count 來判斷一共有多少頁,然後通過點選的頁數直接請求到對應頁的資料做展示,這樣做可以有效的控制返回的資料量以及返回時間,提高使用者體驗感。

根據上述的介面約定,介面實現如下(僅展示關鍵程式碼):

class CaseList(APIHandler):
    async def get_handler(self):
        page = self.input.page or 1
        limit = self.input.limit or 12
        page, limit = int(page), int(limit)
        skip = limit * (page - 1)
        return {
            'customers': await CaseService.get_case_list(filter_={}, skip=skip, limit=limit),
            'count': await CaseService.get_count(filter_={})
        }
介面解讀

下面我們逐行來解讀這個介面。

1.根據 API 約定,page和limit是不必傳且有預設值,所以獲取時可以直接寫為self.input.page or 1,其中當page不傳時self.input.page為None。

2.後端獲取到的GET請求的請求引數是String,所以需要int()轉為整型,這裡直接int(page)即可,因為經過了前面的處理,page必然是有值的。

3.通過limit * (page - 1),計算出跳過多少個;白話描述skip的作用就是,從第skip個物件開始,往後取limit個,返回。

4.get_case_list方法和get_count方法的filter_引數的值應該保持一致,因為他們都是對case這個物件做操作,只不過count是取總數而已。

CaseService.get_case_list方法
async def get_case_list(filter_: dict, skip: int = None, limit: int = None) -> Optional[List[dict]]:
    """ 獲取 case 列表 """
        sort = [('create_time', -1)]
    if skip is not None and limit is not None:
        ret = await cls.find('case', filter=filter_, sort=sort, limit=limit, skip=skip)
    else:
        ret = await cls.find('case', filter=filter_, sort=sort)
    return ret

1.對skip和limit的空值判斷要用is not None,因為skip可能為,如果使用if skip來判斷,skip=0的時候也會進入分支。

2.sort = [(‘create_time', -1)]的傳入使返回的列表按照建立時間倒敘排列,如果你不做這個,相信負責人的測試同學會給你提一個“易用性問題”。

3.sort + skip + limit是有執行優先順序的,他們優先順序依次是sort→skip→limit,skip+limit的優先順序為skip→limit。
這裡大家不要去考慮pymogo執行的時候會不會對sort、skip、limit自動給按照優先順序執行,傳參的時候按照優先順序去傳參就好了,養成良好的習慣,不必糾結其他的。

CaseService.get_count方法
async def get_count(cls, filter_: dict) -> int:
    """ 獲取 case 總數 """
    return await ModelHandler.count('case', filter=filter_)

這裡用count來獲取資料,可以直接拿到總數,而不是取出list然後去求length,避免了記憶體空間的浪費。

以上,就是對列表介面進行分頁的整個過程啦,謝謝閱讀,這不是一篇餵飯教程,是帶你熟悉了寫這個介面的整個過程及其中的細節,具體的實現還需要大家動手去實踐。

原文來自:

來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69955379/viewspace-2795241/,如需轉載,請註明出處,否則將追究法律責任。

相關文章