基於MindSpore實現BERT對話情緒識別

华为云开发者联盟發表於2024-07-16
情緒識別

本文分享自華為雲社群《【昇思25天學習打卡營打卡指南-第二十四天】基於 MindSpore 實現 BERT 對話情緒識別》，作者：JeffDing。

模型簡介

BERT全稱是來自變換器的雙向編碼器表徵量（Bidirectional Encoder Representations from Transformers），它是Google於2018年末開發併發布的一種新型語言模型。與BERT模型相似的預訓練語言模型例如問答、命名實體識別、自然語言推理、文字分類等在許多自然語言處理任務中發揮著重要作用。模型是基於Transformer中的Encoder並加上雙向的結構，因此一定要熟練掌握Transformer的Encoder的結構。

BERT模型的主要創新點都在pre-train方法上，即用了Masked Language Model和Next Sentence Prediction兩種方法分別捕捉詞語和句子級別的representation。

在用Masked Language Model方法訓練BERT的時候，隨機把語料庫中15%的單詞做Mask操作。對於這15%的單詞做Mask操作分為三種情況：80%的單詞直接用[Mask]替換、10%的單詞直接替換成另一個新的單詞、10%的單詞保持不變。

因為涉及到Question Answering (QA) 和 Natural Language Inference (NLI)之類的任務，增加了Next Sentence Prediction預訓練任務，目的是讓模型理解兩個句子之間的聯絡。與Masked Language Model任務相比，Next Sentence Prediction更簡單些，訓練的輸入是句子A和B，B有一半的機率是A的下一句，輸入這兩個句子，BERT模型預測B是不是A的下一句。

BERT預訓練之後，會儲存它的Embedding table和12層Transformer權重（BERT-BASE）或24層Transformer權重（BERT-LARGE）。使用預訓練好的BERT模型可以對下游任務進行Fine-tuning，比如：文字分類、相似度判斷、閱讀理解等。

對話情緒識別（Emotion Detection，簡稱EmoTect），專注於識別智慧對話場景中使用者的情緒，針對智慧對話場景中的使用者文字，自動判斷該文字的情緒類別並給出相應的置信度，情緒型別分為積極、消極、中性。 對話情緒識別適用於聊天、客服等多個場景，能夠幫助企業更好地把握對話質量、改善產品的使用者互動體驗，也能分析客服服務質量、降低人工質檢成本。

安裝mindnlp

pip install mindnlp

下面以一個文字情感分類任務為例子來說明BERT模型的整個應用過程。

import os

import mindspore
from mindspore.dataset import text, GeneratorDataset, transforms
from mindspore import nn, context

from mindnlp._legacy.engine import Trainer, Evaluator
from mindnlp._legacy.engine.callbacks import CheckpointCallback, BestModelCallback
from mindnlp._legacy.metrics import Accuracy

# prepare dataset
class SentimentDataset:
    """Sentiment Dataset"""

    def __init__(self, path):
        self.path = path
        self._labels, self._text_a = [], []
        self._load()

    def _load(self):
        with open(self.path, "r", encoding="utf-8") as f:
            dataset = f.read()
        lines = dataset.split("\n")
        for line in lines[1:-1]:
            label, text_a = line.split("\t")
            self._labels.append(int(label))
            self._text_a.append(text_a)

    def __getitem__(self, index):
        return self._labels[index], self._text_a[index]

    def __len__(self):
        return len(self._labels)

資料集

這裡提供一份已標註的、經過分詞預處理的機器人聊天資料集，來自於百度飛槳團隊。資料由兩列組成，以製表符（’\t’）分隔，第一列是情緒分類的類別（0表示消極；1表示中性；2表示積極），第二列是以空格分詞的中文文字，如下示例，檔案為 utf8 編碼。

label–text_a

0–誰罵人了？我從來不罵人，我罵的都不是人，你是人嗎 ？

1–我有事等會兒就回來和你聊

2–我見到你很高興謝謝你幫我

這部分主要包括資料集讀取，資料格式轉換，資料 Tokenize 處理和 pad 操作。

wget https://baidu-nlp.bj.bcebos.com/emotion_detection-dataset-1.0.0.tar.gz -O emotion_detection.tar.gz
tar xvf emotion_detection.tar.gz

資料載入和資料預處理

新建 process_dataset 函式用於資料載入和資料預處理，具體內容可見下面程式碼註釋。

import numpy as np

def process_dataset(source, tokenizer, max_seq_len=64, batch_size=32, shuffle=True):
    is_ascend = mindspore.get_context('device_target') == 'Ascend'

    column_names = ["label", "text_a"]
    
    dataset = GeneratorDataset(source, column_names=column_names, shuffle=shuffle)
    # transforms
    type_cast_op = transforms.TypeCast(mindspore.int32)
    def tokenize_and_pad(text):
        if is_ascend:
            tokenized = tokenizer(text, padding='max_length', truncation=True, max_length=max_seq_len)
        else:
            tokenized = tokenizer(text)
        return tokenized['input_ids'], tokenized['attention_mask']
    # map dataset
    dataset = dataset.map(operations=tokenize_and_pad, input_columns="text_a", output_columns=['input_ids', 'attention_mask'])
    dataset = dataset.map(operations=[type_cast_op], input_columns="label", output_columns='labels')
    # batch dataset
    if is_ascend:
        dataset = dataset.batch(batch_size)
    else:
        dataset = dataset.padded_batch(batch_size, pad_info={'input_ids': (None, tokenizer.pad_token_id),
                                                         'attention_mask': (None, 0)})

    return dataset

昇騰NPU環境下暫不支援動態Shape，資料預處理部分採用靜態Shape處理：

from mindnlp.transformers import BertTokenizer
tokenizer = BertTokenizer.from_pretrained('bert-base-chinese')

tokenizer.pad_token_id

dataset_train = process_dataset(SentimentDataset("data/train.tsv"), tokenizer)
dataset_val = process_dataset(SentimentDataset("data/dev.tsv"), tokenizer)
dataset_test = process_dataset(SentimentDataset("data/test.tsv"), tokenizer, shuffle=False)

print(next(dataset_train.create_tuple_iterator()))

模型構建

透過 BertForSequenceClassification 構建用於情感分類的 BERT 模型，載入預訓練權重，設定情感三分類的超引數自動構建模型。後面對模型採用自動混合精度操作，提高訓練的速度，然後例項化最佳化器，緊接著例項化評價指標，設定模型訓練的權重儲存策略，最後就是構建訓練器，模型開始訓練。

from mindnlp.transformers import BertForSequenceClassification, BertModel
from mindnlp._legacy.amp import auto_mixed_precision

# set bert config and define parameters for training
model = BertForSequenceClassification.from_pretrained('bert-base-chinese', num_labels=3)
model = auto_mixed_precision(model, 'O1')

optimizer = nn.Adam(model.trainable_params(), learning_rate=2e-5)

metric = Accuracy()
# define callbacks to save checkpoints
ckpoint_cb = CheckpointCallback(save_path='checkpoint', ckpt_name='bert_emotect', epochs=1, keep_checkpoint_max=2)
best_model_cb = BestModelCallback(save_path='checkpoint', ckpt_name='bert_emotect_best', auto_load=True)

trainer = Trainer(network=model, train_dataset=dataset_train,
                  eval_dataset=dataset_val, metrics=metric,
                  epochs=5, optimizer=optimizer, callbacks=[ckpoint_cb, best_model_cb])
# start training
trainer.run(tgt_columns="labels")

模型驗證

將驗證資料集加再進訓練好的模型，對資料集進行驗證，檢視模型在驗證資料上面的效果，此處的評價指標為準確率。

evaluator = Evaluator(network=model, eval_dataset=dataset_test, metrics=metric)
evaluator.run(tgt_columns="labels")

模型推理

遍歷推理資料集，將結果與標籤進行統一展示。

dataset_infer = SentimentDataset("data/infer.tsv")

def predict(text, label=None):
    label_map = {0: "消極", 1: "中性", 2: "積極"}

    text_tokenized = Tensor([tokenizer(text).input_ids])
    logits = model(text_tokenized)
    predict_label = logits[0].asnumpy().argmax()
    info = f"inputs: '{text}', predict: '{label_map[predict_label]}'"
    if label is not None:
        info += f" , label: '{label_map[label]}'"
    print(info)
    
from mindspore import Tensor

for label, text in dataset_infer:
    predict(text, label)

自定義推理資料集

自己輸入推理資料，展示模型的泛化能力。

predict("家人們咱就是說一整個無語住了 絕絕子疊buff")

點選關注，第一時間瞭解華為雲新鮮技術~

相關文章