MySQL·引擎特性·像NOSQL那樣使用MySQL

前言

最近Release的MySQL5.7.12增加了新的協議支援，通過X Plugin實現，同時增加了新的客戶端API，開發者可以通過API來把MySQL作為document store的服務端，可以完成和MongoDB類似的document操作，例如支援CRUD等操作，但底層儲存依然支援傳統資料庫的ACID，操作本身在底層也被擴充套件成標準SQL。從目前的MySQL來看，NOSQL和傳統資料庫的界限越來越小。目前這個特性還未Production Ready，建議僅用於測試環境。

本文只是記錄下學習過程的筆記，不涉及任何核心實現知識。

相關概念

JSON
MySQL從5.7開始支援相對完整的JSON，並開發了完整的JSON函式(WL#7909)

Generated Column
通過表示式的方式來定義列，可以是虛擬的（查詢時計算），也可以是物理儲存的（DML時變更到檔案）

Document
document儲存的是一堆key-value的集合，通常使用JSON來進行描述。

Colllection
用於儲存Document的容器，在MySQL裡表現為一張普通的InnoDB表, 每行儲存一個document

CRUD操作
即四種對Document的操作，包括CREATE, READ, UPDATE, DELETE

X PLUGIN及X PROTOCOL
X PLUGIN是官方新引入的外掛，需要顯式安裝到伺服器上，主要用於處理來自X協議的請求。使用者通過X DevAPI傳送基於X Protocol的請求到伺服器端，請求可以是非同步的，也可以是同步的。

準備工作

安裝：

1. 手動編譯安裝MySQL5.7.12
2. 需要安裝protobuf庫: yum install protobuf
3. 下載新的命令列shell並安裝
4. 啟動MySQL，並安裝X Plugin： INSTALL PLUGIN mysqlx SONAME `mysqlx.so`

文件學習

1. X DevAPI使用者手冊
2. 新的命令列Shell文件
3. 官方文件
4. 官方Youtube視訊
5. X Plugin的Worklog WL#8338

6. 官方部落格系列文章:

   • More than a Maintenance Release
   • MySQL 5.7.12 – Part 2: Improving the MySQL Protocol
   • MySQL 5.7.12 – Part 3: More Than “Just” SQL?
   • MySQL 5.7.12 – Part 4: A new MySQL Command Line Shell
   • MySQL 5.7.12 – Part 5: Connector/Node.js
   • MySQL 5.7.12 – Part 6: MySQL Document Store – A New Chapter in the MySQL Story

以下所有的操作API你都可以從官方的文件上獲取到

登入

當前shell支援三種模式：JavaScript，Python以及傳統的SQL模式。對於SQL模式，你需要在啟動客戶端時指定–sql，如果不指定，則預設登入模式為javascript

$mysqlsh  -S /u01/my57/run/mysql.sock --sql -usb test
Creating a Node Session to sb@localhost:33060/test
Enter password:
Default schema `test` accessible through db
...

然後從sql模式可以切換到別的模式：
mysql-sql> select database();
+------------+
| database() |
+------------+
| test       |
+------------+
1 row in set (0.00 sec)

mysql-sql> py
Switching to Python mode...
mysql-py>session.sql("select database()");
+------------+
| database() |
+------------+
| test       |
+------------+
1 row in set (0.00 sec)

mysql-py>js
Switching to JavaScript mode...
mysql-js> session.sql("select database()");
+------------+
| database() |
+------------+
| test       |
+------------+
1 row in set (0.00 sec)

下文我們以javascript為例進行闡述。

schema操作

schema在MySQL裡對應的就是一個database，包含操作如下：

/* 建立Schema */
mysql-js> session.getSchemas()
{
    "information_schema": <Schema:information_schema>,
    "mysql": <Schema:mysql>,
    "performance_schema": <Schema:performance_schema>
}
mysql-js> session.createSchema(`sb1`)
<Schema:sb1>
mysql-js> session.createSchema(`sb2`)
<Schema:sb2>
mysql-js> session.getSchemas()
{
    "information_schema": <Schema:information_schema>,
    "mysql": <Schema:mysql>,
    "performance_schema": <Schema:performance_schema>,
    "sb1": <Schema:sb1>,
    "sb2": <Schema:sb2>
}

mysql-js> session.createSchema(`test`)
<Schema:test>

/* 刪除Schema */
mysql-js> session.dropSchema(`sb1`)
Query OK, 0 items affected (0.00 sec)

mysql-js> session.dropSchema(`sb2`)
Query OK, 0 items affected (0.00 sec)

Collection操作

相關操作：

mysql-js> db
<Schema:test>
mysql-js> db = session.getSchema(`test`)
<Schema:test>

/* 建立Collection */
mysql-js> db.createCollection("sbtest1")
<Collection:sbtest1>
mysql-js> db.createCollection("sbtest2")
<Collection:sbtest2>

/* 獲取Collection */
mysql-js> db.getCollections()
{
    "sbtest1": <Collection:sbtest1>,
    "sbtest2": <Collection:sbtest2>
}

/* 獲取某個collection */
mysql-js> db.getCollection("sbtest1");
<Collection:sbtest1>
mysql-js> coll=db.getCollection("sbtest1");
<Collection:sbtest1>
mysql-js> coll.find()
Empty set (0.00 sec)
mysql-js> coll.add({Name: "zhai weixiang"});
Query OK, 1 item affected (0.00 sec)
mysql-js> coll.find()
[
    {
        "Name": "zhai weixiang",
        "_id": "944d76235812e611c867200bc7293cfa"
    }
]
1 document in set (0.00 sec)

/* 刪除Collection */
mysql-js> session.dropCollection(`test`,`sbtest2`);
Query OK (0.00 sec)

mysql-js> db.getCollections();
{
    "sbtest1": <Collection:sbtest1>
}

所謂的collection，在物理儲存上就是一張普通的InnoDB表，並且這些表具有相同的表定義

mysql> show tables;
+----------------+
| Tables_in_test |
+----------------+
| sbtest1        |
| sbtest2        |
+----------------+
2 rows in set (0.00 sec)

mysql> show create table sbtest1G
*************************** 1. row ***************************
       Table: sbtest1
Create Table: CREATE TABLE `sbtest1` (
  `doc` json DEFAULT NULL,
  `_id` varchar(32) GENERATED ALWAYS AS (json_unquote(json_extract(`doc`,`$._id`))) STORED NOT NULL,
  UNIQUE KEY `_id` (`_id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4
1 row in set (0.00 sec)

這個自動建立的表上包含兩列：doc列的型別為JSON,另一個列為generated column, 從document的_id上提取。_id由MySQL自動生成，你可以顯式指定，但需要保證唯一性。

document操作

完整的CRUD的執行見官方文件圖示，以下僅嘗試了下簡單的操作

/* 建立document */
mysql-js> db = session.getSchema(`test`)
<Schema:test>
mysql-js> coll=db.getCollection("sbtest1");
<Collection:sbtest1>
mysql-js> coll.add({Name: "zhai weixiang"});
Query OK, 1 item affected (0.00 sec)

mysql-js> coll.find()
[
    {
        "Name": "zhai weixiang",
        "_id": "da3f9cb56712e61154d7200bc7293cfa"
    }
]
1 document in set (0.00 sec)

mysql-js> coll.add({`name`: `zhai`, `age`: 18})
Query OK, 1 item affected (0.00 sec)

mysql-js> coll.add([ {`name`: `zhaiwx`, `age`: 17},{`name`: `zhaiweixiang`, `age`: 16} ])
Query OK, 2 items affected (0.00 sec)

mysql-js> coll.find()
[
    {
        "_id": "4ccd04526812e61154d7200bc7293cfa",
        "age": 16,
        "name": "zhaiweixiang"
    },
    {
        "_id": "b2cb04526812e61154d7200bc7293cfa",
        "age": 17,
        "name": "zhaiwx"
    },
    {
        "_id": "c84e9a3c6812e61154d7200bc7293cfa",
        "age": 18,
        "name": "zhai"
    },
    {
        "Name": "zhai weixiang",
        "_id": "da3f9cb56712e61154d7200bc7293cfa"
    }
]
4 documents in set (0.00 sec)

/* 查詢Document */
mysql-js> coll.find(`age < 18`)
[
    {
        "_id": "4ccd04526812e61154d7200bc7293cfa",
        "age": 16,
        "name": "zhaiweixiang"
    },
    {
        "_id": "b2cb04526812e61154d7200bc7293cfa",
        "age": 17,
        "name": "zhaiwx"
    }
]
2 documents in set (0.00 sec)


/* 更新Document */
mysql-js> coll.modify("name = `zhaiweixiang`").set("age",22)
Query OK, 1 item affected (0.00 sec)

mysql-js> coll.find("name = `zhaiweixiang`")
[
    {
        "_id": "4ccd04526812e61154d7200bc7293cfa",
        "age": 22,
        "name": "zhaiweixiang"
    }
]
1 document in set (0.00 sec)

/* 刪除Document */
mysql-js> coll.remove("name = `zhaiweixiang`")
Query OK, 1 item affected (0.00 sec)

mysql-js> coll.find("name = `zhaiweixiang`")
Empty set (0.00 sec)


/* 建立索引 */
mysql-js> coll.createIndex("_age").field("age", "INTEGER", false).execute()
Query OK (0.19 sec)

/*上述語句在伺服器端執行時轉換成SQL:
    ALTER TABLE `test`.`sbtest1` ADD COLUMN `    $ix_i_F177B50B40803DD7D3962E25071AC5CAA3D1139C` INTEGER GENERATED ALWAYS AS     (JSON_EXTRACT(doc, `$.age`)) VIRTUAL , ADD INDEX `_age` (`    $ix_i_F177B50B40803DD7D3962E25071AC5CAA3D1139C`) 

    會建立出一個虛擬列，並基於其上建立二級索引
*/

/* 刪除索引，會將索引和虛擬列同時刪除 */
mysql-js> coll.dropIndex("_age").execute()
Query OK (0.18 sec)

/* 支援事務操作，可以通過如下3個介面開啟、提交、回滾事務 */
mysql-js> session.startTransaction()
Query OK, 0 items affected (0.00 sec)
mysql-js> session.commit()
Query OK, 0 items affected (0.00 sec)
mysql-js> session.rollback()
Query OK, 0 items affected (0.00 sec)

關係表操作

除了操作JSON外，你還可以通過新的命令列shell來進行其他表的操作。

/* 在普通的終端下建立一張表 */
create table t1 (a int, b int);

/* 查詢表 */
mysql-js> tb = db.getTable(`t1`)
<Table:t1>

/* 插入資料 */
mysql-js> tb.insert().values(1,2)
Query OK, 1 item affected (0.00 sec)

mysql-js> tb.insert(`a`,`b`).values(2,3)
Query OK, 1 item affected (0.01 sec)

/* 查詢資料 */
mysql-js> tb.select([`a`, `a + b`]).where (`b < :b`).bind(`b`,10).execute()
+---+-------------+
| a | (`a` + `b`) |
+---+-------------+
| 1 |           3 |
| 2 |           5 |
+---+-------------+
2 rows in set (0.00 sec)

/**
實際在伺服器端執行的SQL為
SELECT `a`,(`a` + `b`) FROM `test`.`t1` WHERE (`b` < 10)
*/