ClickHouse 的 Parts 和 Partitions

abce發表於2024-10-16

在 ClickHouse 中，磁碟上儲存表的部分資料的物理檔案稱為 "part"。"partition "是使用分割槽鍵建立的表資料的邏輯劃分。分割槽可用於提高大型表的效能和可管理性，允許使用者更有效地儲存、查詢和運算元據子集。

Parts

如前所述，"Parts"是磁碟上的物理檔案。預設情況下，所有資料相關檔案都位於"/var/lib/clickhouse"目錄下。ClickHouse 中的每個合併樹表都有唯一的儲存目錄路徑來儲存 Parts。你可以從 "system.parts "表中獲取parts的實際位置、parts名稱、分割槽資訊（如果有的話）以及其他一些有價值的資訊。

以下是從 system.parts 表查詢結果的示例。

SELECT
    substr(table, 1, 22),
    partition AS prt,
    name,
    part_type,
    path
FROM system.parts
WHERE database = 'mytest'
ORDER BY
    table ASC,
    partition ASC,
    name ASC

Query id: e2f55694-fa55-48f3-99f7-74bca59aca48

┌─substring(table, 1, 22)─┬─prt──────┬─name─────────────────┬─part_type─┬─path──────────────────────────────────────────────────────────────────────────────────────┐
│ bucket_daily_stats_v2   │ tuple()  │ all_1_1389_6_695     │ Wide      │ /var/lib/clickhouse/store/7b0/7b0e6f30-114d-472d-8ff4-f4c9a4cf7cc1/all_1_1389_6_695/      │
│ corr_pair_value         │ tuple()  │ all_208611_209409_4  │ Wide      │ /var/lib/clickhouse/store/5d7/5d732078-0f2e-4d04-9848-d216a1839b32/all_208611_209409_4/   │
│ corr_pair_value         │ tuple()  │ all_209410_209634_3  │ Wide      │ /var/lib/clickhouse/store/5d7/5d732078-0f2e-4d04-9848-d216a1839b32/all_209410_209634_3/   │
│ corr_pair_value         │ tuple()  │ all_209635_210331_4  │ Wide      │ /var/lib/clickhouse/store/5d7/5d732078-0f2e-4d04-9848-d216a1839b32/all_209635_210331_4/   │
│ mytest_of_ti            │ 202408   │ 202408_4241_5001_5   │ Wide      │ /var/lib/clickhouse/store/32f/32ff94bb-43af-47c3-99b1-5c85e912483c/202408_4241_5001_5/    │
│ mytest_of_ti            │ 202408   │ 202408_5002_5008_1   │ Wide      │ /var/lib/clickhouse/store/32f/32ff94bb-43af-47c3-99b1-5c85e912483c/202408_5002_5008_1/    │
│ mytest_of_ti            │ 202408   │ 202408_5009_5045_2   │ Wide      │ /var/lib/clickhouse/store/32f/32ff94bb-43af-47c3-99b1-5c85e912483c/202408_5009_5045_2/    │
│ mytest_of_ti            │ 202408   │ 202408_5046_5046_0   │ Compact   │ /var/lib/clickhouse/store/32f/32ff94bb-43af-47c3-99b1-5c85e912483c/202408_5046_5046_0/    │
│ mytest_of_ti            │ 202409   │ 202409_5013_5624_5   │ Wide      │ /var/lib/clickhouse/store/32f/32ff94bb-43af-47c3-99b1-5c85e912483c/202409_5013_5624_5/    │
│ mytest_of_ti            │ 202409   │ 202409_5625_5661_2   │ Wide      │ /var/lib/clickhouse/store/32f/32ff94bb-43af-47c3-99b1-5c85e912483c/202409_5625_5661_2/    │
│ mytest_of_ti            │ 202409   │ 202409_5662_5699_2   │ Wide      │ /var/lib/clickhouse/store/32f/32ff94bb-43af-47c3-99b1-5c85e912483c/202409_5662_5699_2/    │
│ mytest_of_ti            │ 202409   │ 202409_5700_5708_1   │ Wide      │ /var/lib/clickhouse/store/32f/32ff94bb-43af-47c3-99b1-5c85e912483c/202409_5700_5708_1/    │
│ mytest_of_ti            │ 202409   │ 202409_5710_5793_4   │ Wide      │ /var/lib/clickhouse/store/32f/32ff94bb-43af-47c3-99b1-5c85e912483c/202409_5710_5793_4/    │
│ mytest_of_ti            │ 202409   │ 202409_5794_5794_0   │ Wide      │ /var/lib/clickhouse/store/32f/32ff94bb-43af-47c3-99b1-5c85e912483c/202409_5794_5794_0/    │
│ mytest_of_ti            │ 202409   │ 202409_5795_5795_0   │ Wide      │ /var/lib/clickhouse/store/32f/32ff94bb-43af-47c3-99b1-5c85e912483c/202409_5795_5795_0/    │
│ mytest_of_ti            │ 202410   │ 202410_5703_5810_7   │ Wide      │ /var/lib/clickhouse/store/32f/32ff94bb-43af-47c3-99b1-5c85e912483c/202410_5703_5810_7/    │
│ mytest_of_ti            │ 202410   │ 202410_5811_5849_2   │ Wide      │ /var/lib/clickhouse/store/32f/32ff94bb-43af-47c3-99b1-5c85e912483c/202410_5811_5849_2/    │
│ mytest_of_ti            │ 202410   │ 202410_5850_5882_2   │ Wide      │ /var/lib/clickhouse/store/32f/32ff94bb-43af-47c3-99b1-5c85e912483c/202410_5850_5882_2/    │
│ mytest_of_ti            │ 202410   │ 202410_5883_5888_1   │ Wide      │ /var/lib/clickhouse/store/32f/32ff94bb-43af-47c3-99b1-5c85e912483c/202410_5883_5888_1/    │
│ mytest_of_ti            │ 202410   │ 202410_5889_5894_1   │ Wide      │ /var/lib/clickhouse/store/32f/32ff94bb-43af-47c3-99b1-5c85e912483c/202410_5889_5894_1/    │
│ mytest_of_ti            │ 202410   │ 202410_5895_5901_1   │ Wide      │ /var/lib/clickhouse/store/32f/32ff94bb-43af-47c3-99b1-5c85e912483c/202410_5895_5901_1/    │
│ mytest_of_ti            │ 202410   │ 202410_5902_5902_0   │ Wide      │ /var/lib/clickhouse/store/32f/32ff94bb-43af-47c3-99b1-5c85e912483c/202410_5902_5902_0/    │
│ mytest_of_ti            │ 202410   │ 202410_5903_5903_0   │ Wide      │ /var/lib/clickhouse/store/32f/32ff94bb-43af-47c3-99b1-5c85e912483c/202410_5903_5903_0/    │
│ mytest_of_ti            │ 202410   │ 202410_5904_5904_0   │ Wide      │ /var/lib/clickhouse/store/32f/32ff94bb-43af-47c3-99b1-5c85e912483c/202410_5904_5904_0/    │
└─────────────────────────┴──────────┴──────────────────────┴───────────┴───────────────────────────────────────────────────────────────────────────────────────────┘

在 "part_type" 列中，"Wide "表示每一列都儲存在檔案系統中的一個單獨檔案中，而 "Compact "表示所有列都儲存在檔案系統的一個檔案中。此外，"partition "列中的 "tuple() "表示該表未分割槽。

也可以在目錄“/var/lib/clickhouse/data/<DBNAME>/<TABLENAME>”中檢視錶的 parts，會發現該目錄下存放都是符號連結，透過連結可以檢視錶包含的parts。比如，進入表 mytest_of_ti 所在目錄檢視：

# ls -la
......
drwxr-x--- 2 clickhouse clickhouse 4096 Oct 10 15:10 202410_5811_5849_2
drwxr-x--- 2 clickhouse clickhouse 4096 Oct 11 15:10 202410_5850_5882_2
drwxr-x--- 2 clickhouse clickhouse 4096 Oct 11 15:10 202410_5883_5888_1
drwxr-x--- 2 clickhouse clickhouse 4096 Oct 11 15:10 202410_5889_5894_1
drwxr-x--- 2 clickhouse clickhouse 4096 Oct 13 15:10 202410_5895_5901_1
drwxr-x--- 2 clickhouse clickhouse 4096 Oct 13 15:10 202410_5902_5902_0
drwxr-x--- 2 clickhouse clickhouse 4096 Oct 13 15:10 202410_5903_5903_0
drwxr-x--- 2 clickhouse clickhouse 4096 Oct 13 15:10 202410_5904_5904_0
drwxr-x--- 2 clickhouse clickhouse   10 Nov 11  2023 detached
-rw-r----- 1 clickhouse clickhouse    1 Nov 11  2023 format_version.txt
-rw-r----- 1 clickhouse clickhouse  123 Dec 11  2023 mutation_252.txt
-rw-r----- 1 clickhouse clickhouse   96 Dec 11  2023 mutation_259.txt
-rw-r----- 1 clickhouse clickhouse  230 Dec 11  2023 mutation_264.txt

可以統計出表mytest_of_ti一共有個part：

# ls -la |grep 20 |wc -l
133

以列出的202410_5850_5882_2 該part為例，其中202410表示分割槽id；5850表示part中最小的塊號；5882表示最大的塊號；2表示塊的級別(chunk level)。如果沒有做分割槽，part 的名稱以all_開頭。

也可以從系統表 system.parts 中檢視該part 的資訊：

SELECT
    name,
    partition_id,
    min_block_number,
    max_block_number,
    level,
    data_version
FROM system.parts
WHERE (database = 'factor_data') AND (table = 'factor_value_of_trading') AND (name = '202410_5850_5882_2')

Query id: e6678b2e-31e2-4a9d-9c9b-16ff8bf9ecf0

┌─name───────────────┬─partition_id─┬─min_block_number─┬─max_block_number─┬─level─┬─data_version─┐
│ 202410_5850_5882_2 │ 202410       │             5850 │             5882 │     2 │         5850 │
└────────────────────┴──────────────┴──────────────────┴──────────────────┴───────┴──────────────┘

1 row in set. Elapsed: 0.006 sec.

Partitions

與 parts 一樣，也可以從 “system.parts ”表中訪問合併樹表的分割槽資訊。不過，分割槽列現在不是用 “tuple() ”來表示了。要建立分割槽表，首先需要在建立表時使用 “PARTITION BY expr ”子句。例如，“PARTITION BY toYYYMMDD(start_time) ”子句建立了一個與 “start_time ”列相關的每日分割槽。在下面的示例中，可以看到Partitions名和parts名是不同的。分割槽類似於邏輯上的劃分，但 parts是作為物理檔案定位的。一個分割槽可以包含一個或多個 parts。

SELECT
    partition,
    name,
    active
FROM system.parts
WHERE (table = 'mytest_of_ti') AND (database = 'test')

Query id: 9c8c15bc-df95-4713-b001-39447010a1ab

┌─partition─┬─name─────────────────┬─active─┐
│ 201411    │ 201411_1_1_1_264     │      1 │
│ 201411    │ 201411_2_2_3_264     │      1 │
│ 201412    │ 201412_3_3_3_264     │      1 │
│ 201412    │ 201412_4_4_1_264     │      1 │
│ 201412    │ 201412_5_5_1_264     │      1 │
│ 202001    │ 202001_6_6_3_264     │      1 │
│ 202002    │ 202002_7_7_3_264     │      1 │
│ 202003    │ 202003_8_8_3_264     │      1 │
│ 202004    │ 202004_9_9_1_264     │      1 │
│ 202004    │ 202004_10_10_3_264   │      1 │
...
│ 202410    │ 202410_5934_5934_0   │      0 │
│ 202410    │ 202410_5935_5935_0   │      0 │
│ 202410    │ 202410_5936_5936_0   │      0 │
│ 202410    │ 202410_5937_5937_0   │      1 │
│ 202410    │ 202410_5938_5938_0   │      1 │
└───────────┴──────────────────────┴────────┘

167 rows in set. Elapsed: 0.005 sec.

通常，分割槽是用來提升查詢效能。便於使用者靈活地管理資料子集。可以直接查詢分割槽、刪除分割槽等。

可以透過指定 where 子句或者使用隱藏列"_partition_id" 來檢視指定的分割槽。當然最好使用官方推薦的方式，在where子句中新增分割槽條件比較好。有些特殊情況下，需要使用隱藏列"_partition_id"。

現在，讓我們看看分割槽表的查詢示例。假設我們的表（test.mytest_of_ti）對 “created_at ”列進行了分割槽。我們可以使用分割槽鍵列和隱藏的“_partition_id ”列訪問特定分割槽。此外，我們還可以使用“_partition_id ”查詢前 10 個分割槽。

SELECT count()
FROM recoDB.mytest_of_ti
WHERE toDate(created_at) = '2023-01-21'

┌─count()─┐
│    9731 │
└─────────┘
#####################################

SELECT count()
FROM test.mytest_of_ti
WHERE _partition_id = '20230121'

┌─count()─┐
│   9731  │
└─────────┘

SELECT
    _partition_id,
    count()
FROM test.mytest_of_ti
GROUP BY _partition_id
ORDER BY 2 DESC
LIMIT 10

解除安裝或附加Parts/Partitions

detach 操作可以將指定的 parts/partitions 移動到 detached 目錄。在重新附加之前，使用者無法訪問這些資料。預設情況下，detached 目錄位於"/var/lib/clickhouse/data/<DATABASE_NAME>/<TABLE_NAME>"中。

而 attach 操作可以將被解除安裝的parts/partitions 附加進來。語法如下所示：

#DETACH PART/PARTITION
ALTER TABLE <DATABASE_NAME>.<TABLE_NAME> [ON CLUSTER <CLUSTER_NAME>] DETACH PARTITION|PART <PARTITION_EXPRESSION>

#ATTACH PART/PARTITION
ALTER TABLE <DATABASE_NAME>.<TABLE_NAME> [ON CLUSTER <CLUSTER_NAME>] ATTACH PARTITION|PART <PARTITION_EXPRESSION>

這裡的 PARTITION_EXPRESSION 是分割槽名、分割槽id或表示式自身。

這裡，分割槽表示式應該是分割槽名稱、分割槽 id 或表示式本身。

假設我們要從 “test.mytest_of_ti ”表中解除安裝任何指定日期的分割槽。

首先，找到指定日期的分割槽和parts名稱。如圖所示，該日期位於分割槽 “20231013 ”中，該分割槽有兩個part。

SELECT
    partition,
    name,
    partition_id
FROM system.parts
WHERE (database = 'test') AND (table = 'mytest_of_ti') AND (partition_id IN (
    SELECT DISTINCT _partition_id
    FROM test.mytest_of_ti
    WHERE toDate(created_at) = '2023-10-13'
))


┌─partition─┬─name─────────────┬─partition_id─┐
│ 20231013  │ 20231013_62_62_0 │ 20231013     │
│ 20231013  │ 20231013_78_78_0 │ 20231013     │
└───────────┴──────────────────┴──────────────┘

開始解除安裝分割槽"20231013",然後再附加進來。

-- Count related date before detached
SELECT count()
FROM test.mytest_of_ti
WHERE toDate(created_at) = '2023-10-13'
┌─count()─┐
│   78536 │
└─────────┘

-- detach partition
ALTER TABLE test.mytest_of_ti DETACH PARTITION 20231013
Ok.

-- Count related date after detached
SELECT count()
FROM test.mytest_of_ti
WHERE toDate(created_at) = '2023-10-13'
┌─count()─┐
│       0 │
└─────────┘

然後再重新附加進來：

--attach partition
ALTER TABLE test.mytest_of_ti ATTACH PARTITION 20231013

Ok.
--Count related date after attach partition
SELECT count()
FROM test.mytest_of_ti
WHERE toDate(created_at) = '2023-10-13'
┌─count()─┐
│   78536 │
└─────────┘

同樣對單個part做如上的操作。

--find parts for given date
SELECT
    partition,
    name,
    partition_id
FROM system.parts
WHERE (database = 'test') AND (table = 'mytest_of_ti') AND (partition_id IN (
    SELECT DISTINCT _partition_id
    FROM test.mytest_of_ti
    WHERE toDate(created_at) = '2023-10-13'
))
┌─partition─┬─name───────────────┬─partition_id─┐
│ 20231013  │ 20231013_142_142_0 │ 20231013     │
│ 20231013  │ 20231013_143_143_0 │ 20231013     │
└───────────┴────────────────────┴──────────────┘

-- Count before detach part operation
SELECT count()
FROM test.mytest_of_ti
WHERE toDate(created_at) = '2023-10-13'
┌─count()─┐
│   78536 │
└─────────┘

-- detach any of the parts
ALTER TABLE test.mytest_of_ti DETACH PART '20231013_142_142_0'
Ok.

-- Count after detach part operation
SELECT count()
FROM test.mytest_of_ti
WHERE toDate(created_at) = '2023-10-13'
┌─count()─┐
│   78406 │
└─────────┘

-- Attach related part
ALTER TABLE test.mytest_of_ti ATTACH PART '20231013_142_142_0'

-- Count after attach the part
SELECT count()
FROM test.mytest_of_ti
WHERE toDate(created_at) = '2023-10-13'
┌─count()─┐
│   78536 │
└─────────┘

也可以將源表的分割槽附加到目標表上，如下例所示，附加後資料不會從源表或目標表被刪除：

ALTER TABLE <DESTINATION_TABLE> [ON CLUSTER <CLUSTER_NAME>] ATTACH PARTITION <PARTITION EXPRESSION> FROM <SOURCE_TABLE>

不過，該操作需要目標表和源表滿足以下條件：

·結構相同

·分割槽鍵、排序鍵和主鍵相同

·儲存策略相同

刪除Parts/Partitions

刪除的parts/Partitions 在系統表 system.parts 中被標記為不活躍的，且刪除操作完成後，對應的parts/Partitions 會在 "/var/lib/clickhouse/data/<database_name>/<table_name>/" 中保留十分鐘。

-- Drop from table itself
ALTER TABLE <DATABASE_NAME>.<TABLE_NAME> [ON CLUSTER <CLUSTER_NAME>] DROP PARTITION|PART 'PART/PARTITON EXPRESSION'

-- Remove specified part/partition from detached folder
ALTER TABLE <DATABASE_NAME>.<TABLE_NAME> [ON CLUSTER <CLUSTER_NAME>] DROP DETACHED PARTITION|PART 'PART/PARTITON EXPRESSION'

移動Parts/Partitions

可以將partitions移動到 Clickhouse 中的另一個表。在這種情況下，源表和目標表都具有相同的結構、分割槽鍵、按鍵排序、主鍵、儲存策略和引擎系列。

對於合併樹引擎表，移動的另一個選項是將parts或partitions移動到另一個磁碟或捲上。

-- Usage: ALTER TABLE <DATABASE_NAME.SOURCE_TABLE> [ON CLUSTER <CLUSTER_NAME>] MOVE PARTITION <PARTITION EXPRESSION> TO TABLE <DATABASE_NAME.DESTINATION_TABLE>

-- 1. Create empty mytest_of_ti_new table same as the mytest_of_ti

-- 2. Move 20231013 partition from mytest_of_ti to mytest_of_ti_new
ALTER TABLE test.mytest_of_ti
    MOVE PARTITION '20231013' TO TABLE test.mytest_of_ti_new
Ok.
--3. Take partition count for 20231013 in source table
SELECT count()
FROM test.mytest_of_ti
WHERE _partition_id = '20231013'
┌─count()─┐
│       0 │
└─────────┘

--4 Take partition count for 20231013 in destination table
SELECT count()
FROM test.mytest_of_ti_new
WHERE _partition_id = '20231013'

Query id: 49319c73-c84f-4fbf-838d-ab787971eaad

┌─count()─┐
│   78536 │
└─────────┘

移動 parts/partitions 到其它的磁碟或卷，需要設定一個儲存策略，並使用建立的策略建立一個新表。這裡不再講儲存策略。

-- Our table's(mytest_of_ti_with_storage_policy) policy is "vo1_to_vo2" 
-- and this volume contain 2 disks(vo1 and vo2)
SELECT *
FROM system.storage_policies
WHERE policy_name = (
    SELECT storage_policy
    FROM system.tables
    WHERE (database = 'test') AND (name = 'mytest_of_ti_with_storage_policy')

┌─policy_name─┬─volume_name─┬─volume_priority─┬─disks───┬─volume_type─┬─max_data_part_size─┬─move_factor─┬─prefer_not_to_merge─┐
│ vo1_to_vo2  │ vo1_volume  │               1 │ ['vo1'] │ JBOD        │                  0 │         0.1 │                   0 │
│ vo1_to_vo2  │ vo2_volume  │               2 │ ['vo2'] │ JBOD        │                  0 │         0.1 │                   0 │
└─────────────┴─────────────┴─────────────────┴─────────┴─────────────┴────────────────────┴─────────────┴─────────────────────┘

-- The 20231013 partition is stored under vo1 disk.
SELECT
    partition,
    name,
    path
FROM system.parts
WHERE (database = 'test') AND (table = 'mytest_of_ti_with_storage_policy') AND (partition = '20231013')


┌─partition─┬─name───────────────┬─path────────────────────────────────────────────────────────────────────┐
│ 20231013  │ 20231013_107_107_0 │ /vo1/store/346/3465ekb6-231d-493d-94bc-518234d79b45/20231013_107_107_0/ │
└───────────┴────────────────────┴─────────────────────────────────────────────────────────────────────────┘

-- Let's move it to the vo2 disk
ALTER TABLE test.mytest_of_ti_with_storage_policy
    MOVE PARTITION '20231013' TO DISK 'vo2'

-Check the new volume
SELECT
    partition,
    name,
    path
FROM system.parts
WHERE (database = 'test') AND (table = 'mytest_of_ti_with_storage_policy') AND (partition = '20231013')

┌─partition─┬─name───────────────┬─path────────────────────────────────────────────────────────────────────┐
│ 20231013  │ 20231013_107_107_0 │ /vo2/store/346/3465ekb6-231d-493d-94bc-518234d79b45/20231013_107_107_0/ │
└───────────┴────────────────────┴─────────────────────────────────────────────────────────────────────────┘

-- You can move parts and also you can move volume instead of disk

ClickHouse(03)ClickHouse怎麼安裝和部署
2022-07-05
clickhouse下載和安裝
2020-12-27
Details on individual partitions
2011-07-08
AI
Partitioned Indexes on Composite Partitions
2008-04-11
Index
clickhouse 的運維
2022-11-11
運維
ClickHouse(04)如何搭建ClickHouse叢集
2022-07-12
如何修改table及partitions Table
2007-03-02
Getting More Information about Partitions
2009-05-07
ORM
dba_ind_partitions中index的紀錄和dba_indexes是否重複
2008-04-28
Index
ClickHouse(01)什麼是ClickHouse,ClickHouse適用於什麼場景
2022-05-30
[clickhouse] Clickhouse之開窗函式篇
2024-05-24
函式
clickhouse for centos7安裝和使用初探
2019-10-10
CentOS
Clickhouse的bitmap函式
2020-11-09
函式
akka-streams - 從應用角度學習：basic stream parts
2020-09-07
PostgreSQL DBA(39) - PG 12 Functions for partitions
2019-06-19
SQLFunction
Clickhouse Engine kafka 將kafka資料同步clickhouse
2020-12-03
Kafka
[Clickhouse] Clickhouse 報SQLException : Read timed out
2023-12-13
SQLException
ClickHouse 資料表匯出和匯入（qbit）
2022-06-01
ClickHouse的特性及讀寫
2020-09-25
ClickHouse(18)ClickHouse整合ODBC表引擎詳細解析
2023-12-18
ClickHouse(19)ClickHouse整合Hive表引擎詳細解析
2023-12-23
Hive
ClickHouse(16)ClickHouse日誌引擎Log詳細解析
2023-12-04
ClickHouse(17)ClickHouse整合JDBC表引擎詳細解析
2023-12-11
JDBC
clickhouse學習(1)-clickhouse安裝解除安裝
2023-01-18
ClickHouse實戰
2021-10-31
Install clickhouse
2024-08-20
Clickhouse的MySQL外部表，坑貨！
2023-11-07
MySql
clickhouse使用的一點總結
2021-12-03
ClickHouse的查詢效能優勢
2023-02-22
MySQL5.6 新效能之二（exchange partitions）
2015-07-28
MySql
Some indexes or index partitions of table have been marked unusable
2012-06-30
Index
ClickHouse 命令彙總
2022-01-17
ClickHouse MergeTree引擎
2022-12-22
ClickHouse 網路埠
2024-03-20
clickhouse元件介紹
2024-09-04
元件
clickhouse_mergeTree
2024-08-13
資料庫圈周盤點：ClickHouse宣佈推出ClickHouse Cloud
2022-10-11
資料庫Cloud
Clickhouse 的 mysql CDC，終於好使了
2023-11-17
MySql