ClickHouse(18)ClickHouse整合ODBC表引擎詳細解析

張飛的豬發表於2023-12-18

目錄

ODBC整合表引擎使得ClickHouse可以透過ODBC方式連線到外部資料庫.

為了安全地實現 ODBC 連線，ClickHouse 使用了一個獨立程式 clickhouse-odbc-bridge. 如果ODBC驅動程式是直接從 clickhouse-server中載入的，那麼驅動問題可能會導致ClickHouse服務崩潰。 當有需要時，ClickHouse會自動啟動 clickhouse-odbc-bridge。 ODBC橋樑程式與clickhouse-server來自相同的安裝包.

該引擎支援Nullable資料型別。

建立表

CREATE TABLE [IF NOT EXISTS] [db.]table_name [ON CLUSTER cluster]
(
    name1 [type1],
    name2 [type2],
    ...
)
ENGINE = ODBC(connection_settings, external_database, external_table)

表結構可以與源表結構不同:

  • 列名應與源表中的列名相同，但您可以按任何順序使用其中的一些列。
  • 列型別可能與源表中的列型別不同。 ClickHouse嘗試將數值對映到ClickHouse的資料型別。
  • 設定 external_table_functions_use_nulls 來定義如何處理 Nullable 列. 預設值是 true, 當設定為 false 時 - 表函式將不會使用 nullable 列，而是插入預設值來代替 null. 這同樣適用於陣列資料型別中的 null 值.

引擎引數

  • connection_settings — 在 odbc.ini 配置檔案中，連線配置的名稱.
  • external_database — 在外部 DBMS 中的資料庫名.
  • external_table — external_database中的表名.

用法示例

透過ODBC從本地安裝的MySQL中檢索資料

本示例已經在 Ubuntu Linux 18.04 和 MySQL server 5.7 上測試透過。

請確保已經安裝了 unixODBC 和 MySQL Connector。

預設情況下（如果從軟體包安裝），ClickHouse以使用者clickhouse的身份啟動. 因此，您需要在MySQL伺服器中建立並配置此使用者。

$ sudo mysql

mysql> CREATE USER 'clickhouse'@'localhost' IDENTIFIED BY 'clickhouse';
mysql> GRANT ALL PRIVILEGES ON *.* TO 'clickhouse'@'clickhouse' WITH GRANT OPTION;

然後在/etc/odbc.ini中配置連線.

$ cat /etc/odbc.ini
[mysqlconn]
DRIVER = /usr/local/lib/libmyodbc5w.so
SERVER = 127.0.0.1
PORT = 3306
DATABASE = test
USERNAME = clickhouse
PASSWORD = clickhouse

您可以從安裝的 unixodbc 中使用 isql 實用程式來檢查連線情況。

$ isql -v mysqlconn
+---------------------------------------+
| Connected!                            |
|                                       |
...

MySQL中的表:

mysql> CREATE TABLE `test`.`test` (
    ->   `int_id` INT NOT NULL AUTO_INCREMENT,
    ->   `int_nullable` INT NULL DEFAULT NULL,
    ->   `float` FLOAT NOT NULL,
    ->   `float_nullable` FLOAT NULL DEFAULT NULL,
    ->   PRIMARY KEY (`int_id`));
Query OK, 0 rows affected (0,09 sec)

mysql> insert into test (`int_id`, `float`) VALUES (1,2);
Query OK, 1 row affected (0,00 sec)

mysql> select * from test;
+--------+--------------+-------+----------------+
| int_id | int_nullable | float | float_nullable |
+--------+--------------+-------+----------------+
|      1 |         NULL |     2 |           NULL |
+--------+--------------+-------+----------------+
1 row in set (0,00 sec)

ClickHouse中的表，從MySQL表中檢索資料:

CREATE TABLE odbc_t
(
    `int_id` Int32,
    `float_nullable` Nullable(Float32)
)
ENGINE = ODBC('DSN=mysqlconn', 'test', 'test')

SELECT * FROM odbc_t

┌─int_id─┬─float_nullable─┐
│      1 │           ᴺᵁᴸᴸ │
└────────┴────────────────┘

資料分享

ClickHouse經典中文文件分享

參考文章

相關文章