說說被NLP忽視的逗號

逗號是很常用的一個標點符號。在國家技術監督局頒佈的《標點符號用法》GB/T15834-2011中，漢語的逗號的功能主要有以下四種：

1.句子內部主語與謂語之間的停頓：

2.句子內部動詞與賓語之間的停頓：

3.句子內部狀語後邊的停頓：

4.複句內各分句之間的停頓：

逗號的使用很靈活，經常和句號混用，漢語中有“一逗到底”的現象，也就是一個大段落中，只有最後一個句號，其他需要用到句號都使用逗號了。一個句子中，逗號使用越多，句子長度越長，其中包含的語言現象就越複雜，如下例所示：

逗號的4種功能中，第4種“複句內各分句之間的停頓”，和其他幾個差別較大，也是逗號最重要的功能，作為句子切分符號。所以對逗號的處理，關鍵是識別它是否是句子切分符。

如果逗號不是句子切分符，而是前3種功能之一，那麼，逗號並不影響前後內容的連貫性，即使去掉逗號，句子的含義也沒有變化。

如果逗號是句子切分符，逗號實際上把前後兩個分句分隔開了，對這兩個分句完全可以獨立進行句法語義分析，而不用考慮另外一個分句對它的影響。當然，分句間經常會有省略主語的現象，這可以啟用另外一個獨立模組來處理，而不用混雜在一起。

當前主流的機器學習、深度學習技術，對逗號的處理，基本都是簡單粗暴。要麼以句號為句子切分符，對逗號完全忽略，這導致一個句子過於複雜，處理難度指數級增長；要麼以逗號為句子切分符，全部切開，這導致句子的上下文資訊無法有效利用。據統計，在一般的書面語中，只有50%左右的逗號，作為句子切分符，這使得上述兩種方法都很難達到較好的效果。因此，當前的技術對逗號的處理能力都很弱。

以忽略逗號的方法為例，句子是以句號為單位，把逗號當做無意義符號過濾掉，進行預訓練和匹配。這樣的處理，本質上增加了NLP的混淆度，因為在向量空間中，引入了跨逗號的上下文資訊，而這些資訊從語言的角度，有很多是完全不相關的，屬於資訊噪聲。如上面例子中“......形成流體密封，以防止注入......”，這裡的跨逗號上下文資訊，沒有任何的語言學相關性。

神州泰嶽人工智慧研究院，與國內著名高校北京師範大學合作，將符號化語義表示與深度學習技術進行結合，形成了自主智慧財產權的智慧語義認知技術UltraNLP。智慧語義認知技術，將逗號當做一個特殊的語言特徵來進行形式化表示，將逗號帶來的小句切分和句間語義關係等問題進行上下文關聯處理。逗號的處理分解為五個環節，下面分別說明。

為了表示逗號的功能，我們給每一個逗號後面都要標註相應的切分標記。逗號後的切分標記根據是否獨立成句分為以下兩種：

如下面的例子，其中第一個逗號前不是一個完整的小句，標註了“|DBT”，它將和第二個小句合併成為一個小句；第二、三個逗號前都是完整的小句，標註了“|SST”。需要說明的是，一般句號預設會有“|SST”標記。

對逗號的SST標記和DBT標記識別的依據，主要是句子的完整性判斷，也就是判斷逗號前是否具有句子的核心動詞，如果有，則給出SST標記，否則，給出DBT標記。在給出標記的同時，可以給出標記的屬性值，用LC_EXP表示。

SST標記的LC_EXP屬性取值，共有5個，分別表示逗號前的小句是核心小句（SS_CORE）、非核心小句（SS）、句蛻小句（SS_JT）、EK塊（SS_EK)、缺GBKn的小句（SS_NGBKn）。這些屬性是對小句內部的語義結構，進行總體描述而抽象出的。

DBT標記的LC_EXP屬性取值，共有5個，這些屬性分別對逗號前的字串整體角色進行說明：

我們用SHR屬性來標記逗號前後緊鄰兩個小句間的共享關係。根據小句之間是否存在語言成分共用的情況，可以分為共享、半共享、無共享等情況。SHR具體取值及說明如下：

下面給出幾個示例，其中SHR屬性用紅色標示，“[]”中包含的內容，是省略的內容，原始句子中沒有。

判斷小句之間是否存在共享關係，首先就要考察是否有小句存在語義塊預設的情況，如果有省略，一般優先考慮三種情況：共享上一個小句的最後一個塊；共享上一句的第一個塊；或共享第一個小句的第一個塊。需要根據上下文資訊具體判斷。

一個句號中的多個逗號切分的小句，雖然形式上是一樣的，實質上它們之間有層次。我們把這種層次也作為一個屬性標示在SST符之上，用LEVEL屬性來表示。一般情況下，LEVEL=1，表示這個逗號前的小句是核心小句，一個句號中經常可以有多個LEVEL=1的小句。

下例中第一個小句是核心小句，其逗號後標示有LEVEL=1，第四個逗號和其後的句號，是“說明”的主體內容，標示有LEVEL=2，第二個和第三個逗號前的內容是一個小句，是後面小句“是”的指示物件，標示有LEVEL=3：

這裡的逗號的層次，如果翻譯成英文，看起來會更直觀一些，層次較低的小句，一般翻譯為英文的從句。示例對應的英文如下。

逗號的層次識別，可以根據句間連詞等顯式標記詞來判定，如表因果關係的“因為......，所以......”，後一個小句的層次高於前一個小句。對沒有句間連詞的小句，只能透過上下文，來判斷小句間語義的包含關係或遞進關係。

在逗號的層次識別中，我們一般處理的是兩個相鄰小句之間的關係，從而給出相鄰小句兩兩之間的層次。如果有多個逗號的話，在相鄰兩兩關係確定後，對於每個小句和LEVEL=1的核心小句之間的語義關係，則需要利用其中的並列關係、遞進關係等來進行傳遞。

我們來看下上節例子中的傳遞。示例共有4個小句，發生了2次小句關係的傳遞。

上面的例子是小句關係向後傳遞的，也可以有向前傳遞。看下面示例。

示例共有3個小句，小句②和小句③是SS_EG_EL關係，其中，小句③是核心小句，其LEVEL=1。由於小句②和小句①是並列關係SS_AND，因此小句③和小句①也是SS_EG_EL關係。

透過上述五個環節的處理，我們可以對每個逗號，都標示出其切分功能（SST或DBT），並透過形式化屬性，給出逗號前小句的抽象描述（LC_EXP屬性），給出逗號之間的語義關係（QFC屬性），並給出逗號的層次。

我們可以從上述逗號處理中得到如下啟示：

認識、尊重每一個語言特徵，是NLP人必須具備的基本素養。