SMProxy 分析 (基於 Swoole 開發的 MySQL 資料庫連線池)

nightfall發表於2019-09-25

前言:

    在深入瞭解SMProxy之前,一直認為連線池是對mysql連線物件進行統一管理的處理,但是隨之而來的問題是現有的php框架都沒有自帶mysql連線池,如何以最小的代價替代框架的資料庫模組一直是一個難題。
    在深入瞭解SMProxy之後,發現SMProxy的奇妙之處就在於你並不需要對框架的資料庫模組進行任何的修改,即可使用SMProxy架構,它是基於mysql客戶端與mysql服務端的中介軟體,通過swoole/server自己模擬與mysql報文互動並內部管理連線池物件來提升效率。

優點:

  • 明顯客觀的效能提升,減少建立連線的資源消耗
  • 無需對框架進行任何的修改即可使用

缺點:

  • 需要對mysql協議有一定的瞭解,如果希望改動,則需要對協議有更深入的理解。
  • 如果發生錯誤,增加了排查錯誤的成本。

知識點的補充:

  • 協議中常用的資料, 10進位制,16進位制,2進位制。
  • 為啥使用16進製表示位元組中的內容, 在二進位制中每4個位表示16進位制中的一位, 二進位制與16進位制相互轉化比十進位制快的多 。
  • 為了協議中運用到的|,&運算更好理解一點, 我給予了一個簡易的稱呼(當然這可能並不準確)
    • | 運算子 = 取大值, 例如 2|8 = 8
    • & 運算子= 取小值, 例如 2&8 = 2

swoole:
運用到的知識點 swoole/server以及swoole/client, 不做更多的介紹
tcp 粘包問題: https://www.cnblogs.com/JsonM/articles/928...
client -> tcp buffer(等待cpu指令, 如果buffer快取達到上限,就會直接傳送到server, 所有有可能一次性接受多個資料) -> server

mysql 協議分析
https://www.cnblogs.com/davygeek/p/5647175...

SMProxy:

執行流程圖

image.png

接下來將針對mysql與SMProxy的swoole服務互動進行一定的說明:(如果對以下報文有疑問,可以仔細翻看mysql協議https://www.cnblogs.com/davygeek/p/5647175.html)

再進行tcp互動之中,需要服務端向mysql客戶端傳送握手初始化報文,只要傳送符合mysql協議的握手報文,mysql客戶端便會進行下一步傳送認證請求的操作。

// 位於SMProxy/src/Handler/Frontend/FrontendAuthticator
public function getHandshakePacket(int $server_id)
{
    $rand1 = RandomUtil::randomBytes(8);
    $rand2 = RandomUtil::randomBytes(12);
    $this->seed = array_merge($rand1, $rand2);
    $hs = new HandshakePacket();
    $hs->packetId = 0;
    // 以下根據握手報文
    // 協議版本號
    $hs->protocolVersion = Versions::PROTOCOL_VERSION;
    // 伺服器版本號資訊
    $hs->serverVersion   = Versions::SERVER_VERSION;
    // 伺服器執行緒
    $hs->threadId = $server_id;
    // 隨機數
    $hs->seed = $rand1;
    // 填充值,伺服器權能標識,
    $hs->serverCapabilities = $this->getServerCapabilities();
    // 字元編碼
    $hs->serverCharsetIndex = (CharsetUtil::getIndex(CONFIG['server']['charset'] ?? 'utf8mb4') & 0xff);
    // 伺服器狀態
    $hs->serverStatus = 2;
    // 伺服器權能標識+填充值
    $hs->restOfScrambleBuff = $rand2;
    return getString($hs->write());
}

//位於 SMProxy/src/HandshakePacket
public function write()
{
    // default init 256,so it can avoid buff extract
    $buffer = [];
    // 寫入訊息頭長度
    BufferUtil::writeUB3($buffer, $this->calcPacketSize());
    // 寫入序號 -- 訊息頭的
    $buffer[] = $this->packetId;
    // 寫入協議版本號
    $buffer[] = $this->protocolVersion;
    // 寫入伺服器版本資訊
    BufferUtil::writeWithNull($buffer, getBytes($this->serverVersion));
    // 寫入伺服器執行緒ID
    BufferUtil::writeUB4($buffer, $this->threadId);
    // 挑戰隨機數 9個位元組 包含一個填充值
    BufferUtil::writeWithNull($buffer, $this->seed);
    // 伺服器權能標識
    BufferUtil::writeUB2($buffer, $this->serverCapabilities);
    // 1位元組 字元編碼
    $buffer[] = $this->serverCharsetIndex;
    // 伺服器狀態
    BufferUtil::writeUB2($buffer, $this->serverStatus);
    if ($this ->serverCapabilities & Capabilities::CLIENT_PLUGIN_AUTH) {
        // 伺服器權能標誌 16位
        BufferUtil::writeUB2($buffer, $this->serverCapabilities);
        // 挑戰長度+填充值+挑戰隨機數
        $buffer[] = max(13, count($this->seed) + count($this->restOfScrambleBuff) + 1);
        $buffer = array_merge($buffer, [0, 0, 0, 0, 0, 0, 0, 0, 0, 0]);
    } else {
        // 10位元組填充數
        $buffer = array_merge($buffer, self::$FILLER_13);
    }
    // +12位元組挑戰隨機數
    if ($this ->serverCapabilities & Capabilities::CLIENT_SECURE_CONNECTION) {
        BufferUtil::writeWithNull($buffer, $this->restOfScrambleBuff);
    }
    if ($this ->serverCapabilities & Capabilities::CLIENT_PLUGIN_AUTH) {
        BufferUtil::writeWithNull($buffer, getBytes($this->pluginName));
    }
    return $buffer;
}

當mysql客戶端傳送登入認證報文後,這時進行登入賬號密碼校驗的是swoole/server而不是mysql服務端,所以在配置檔案server.json中的root跟password正是mysql客戶端請求的賬號與密碼,而swoole/server與mysql服務端互動鎖需要的賬號密碼位於database的配置中。

// 位於SMProxy/src/SMProxyServer
private function auth(BinaryPacket $bin, \swoole_server $server, int $fd)
{
    // 如果資料長度是20, -- 可能自定義的,  4-20是密碼, 最後4位不知道幹啥
    if ($bin->data[0] == 20) {
        // 密碼長度是16 , 判斷賬號密碼
        $checkAccount = $this->checkAccount($server, $fd, $this->source[$fd]->user, array_copy($bin->data, 4, 20));
        if (!$checkAccount) {
            // 傳送ERROR報文
            $this ->accessDenied($server, $fd, 4);
        } else {
            if ($server->exist($fd)) {
                // 傳送OK報文
                $server->send($fd, getString(OkPacket::$SWITCH_AUTH_OK));
            }
            // 認證標誌設定為true
            $this->source[$fd]->auth = true;
        }
    } elseif ($bin->data[4] == 14) {
        // 序號等於14
        if ($server->exist($fd)) {
            // 無需認證即登入
            $server->send($fd, getString(OkPacket::$OK));
        }
    } else {
        $authPacket = new AuthPacket();
        // 讀取報文資訊 登入認證報文
        $authPacket->read($bin);
        // 判斷賬號密碼
        $checkAccount = $this->checkAccount($server, $fd, $authPacket->user ?? '', $authPacket->password ?? []);
        if (!$checkAccount) {
            // 密碼校驗失敗
            if ($authPacket->pluginName == 'mysql_native_password') {
                // 傳送ERROR報文
                $this ->accessDenied($server, $fd, 2);
            } else {
                // 記錄使用者資料
                $this->source[$fd]->user = $authPacket ->user;
                $this->source[$fd]->database = $authPacket->database;
                // 填充數
                $this->source[$fd]->seed = RandomUtil::randomBytes(20);
                // 傳送EOF報文
                $authSwitchRequest = array_merge(
                    [254],
                    getBytes('mysql_native_password'),
                    [0],
                    $this->source[$fd]->seed,
                    [0]
                );
                if ($server->exist($fd)) {
                    $server->send($fd, getString(array_merge(getMysqlPackSize(count($authSwitchRequest)), [2], $authSwitchRequest)));
                }
            }
        } else {
            // 賬號正確 傳送OK報文, 並記錄資料
            if ($server->exist($fd)) {
                $server->send($fd, getString(OkPacket::$AUTH_OK));
            }
            $this->source[$fd]->auth = true;
            $this->source[$fd]->database = $authPacket->database;
        }
    }
}

當進行tcp握手以及登入認證成功之後,mysql端便可以傳輸執行語句等操作,而這裡SMProxy還對語句進行一定的分析,來判斷讀,寫還是事物等。如果是讀語句,並配置了讀資料庫,那麼讀語句只會從讀池裡獲取連結,如果讀資料庫沒有配置才會去獲取寫資料庫,所以這裡使用的時候需要注意,如果公司的讀資料庫的配置低於寫資料庫,可能使用該架構會對讀資料庫造成一定的壓力。

到了這一步,SMProxy的工作也大概做完了,swoole/server會把mysql客戶端傳送上來的執行命令文字,傳送給mysql服務端,mysql服務端返回的資料SMProxy也不再做過多的處理,而又因為客戶端是mysql客戶端,可以直接解析mysql服務端返回的報文。

SMProxy架構的基本流程描述完畢了,而連線池以及mysql報文等更詳細的處理,我也備註在程式碼裡,並上傳到github中,有想更深入瞭解的朋友可以下載下來並檢視,註釋並沒有非常完善, 但是大部分的語句我都新增了自己的見解(也有存在解讀錯誤的情況)

https://github.com/linjinmin/SMProxy-

https://www.cnblogs.com/JsonM/articles/928... // tcp粘包問題
https://www.cnblogs.com/davygeek/p/5647175... // mysql協議

相關文章