中文分詞工具之基於字標註法的分詞

基於字標註法的分詞

中文分詞字標註通常有 2-tag,4-tag 和 6-tag 這幾種方法，其中 4-tag 方法最為常用。標註集是依據漢字（其中也有少量的非漢字字元）在漢語詞中的位置設計的。

1. 2-tag 法

2-tag 是一種最簡單的標註方法 , 標註集合為 {B,I} ，其將詞首標記設計為 B ，而將詞的其他位置標記設計為 I 。例如詞語“重慶”的標註結果是“重 /B 慶 /I ”，而“大學生”的標註結果為“大 /B 學 /I 生 /I ”

對於以下句子

邁向 充滿 希望 的 新 世紀 —— 一九九八年 新年 講話

使用 2-tag （ B ， I ）的標註結果為

邁 /B 向 /I 充 /B 滿 /I 希 /B 望 /I 的 /B 新 /B 世 /B 紀 /I — /B — /I 一 /B 九 /I 九 /I 八 /I 年 /I 新 /B 年 /I 講 /B 話 /I

 

2.4-tag 法

 

4-tag 標註集合為 {S,B,M,E} ， S 表示單字為詞， B 表示詞的首字， M 表示詞的中間字， E 表示詞的結尾字。對於以下句子

邁向 充滿 希望 的 新 世紀 —— 一九九八年 新年 講話

使用 4-tag （ S,B,M,E ）的標註結果為

邁 /B 向 /E 充 /B 滿 /E 希 /B 望 /E 的 /S 新 /S 世 /B 紀 /E — /B — /E 一 /B 九 /M 九 /M 八 /M 年 /E 新 /B 年 /E 講 /B 話 /E

參考我愛自然語言處理部落格， python 實現方法為

 

本文使用 pku 語料庫，其原始格式為

 

 

標註後的結果為

 

3.6-tag 法

6-tag 標註集合為 {S,B,M1,M2,M,E} ， S 表示單字為詞， B 表示詞的首字， M1/M2/M 表示詞的中間字， E 表示詞的結尾字。例如“大學生”可以標註為“大 /B 學 /M 生 /E ” 。