在python中如何分句

airland發表於2021-09-11

在python中如何分句

在處理文字時,會遇到需要將文字以 句子 為單位進行切分(分句)的場景,而文字又可以分為 中文文字 和 英文文字 ,處理的方法會略有不同。本文會介紹 Python 是如何處理 分句 的。

分句的關鍵是找到合適的結束符號,比如:中文裡的 。,英文裡的 . 等,而且,在這一點上中英也是有很大區分的。

這裡介紹一種純用 Python 實現的分句函式。

def cut_sentences(content):
	# 結束符號,包含中文和英文的
	end_flag = ['?', '!', '.', '?', '!', '。', '…']
	
	content_len = len(content)
	sentences = []
	tmp_char = ''
	for idx, char in enumerate(content):
		# 拼接字元
		tmp_char += char

		# 判斷是否已經到了最後一位
		if (idx + 1) == content_len:
			sentences.append(tmp_char)
			break
			
		# 判斷此字元是否為結束符號
		if char in end_flag:
			# 再判斷下一個字元是否為結束符號,如果不是結束符號,則切分句子
			next_idx = idx + 1
			if not content[next_idx] in end_flag:
				sentences.append(tmp_char)
				tmp_char = ''
				
	return sentences

content = '在處理文字時,會遇到需要將文字以 句子 為單位進行切分(分句)的場景,而文字又可以分為 中文文字 和 英文文字 ,處理的方法會略有不同。本文會介紹 Python 是如何處理 分句 的。'
sentences = cut_sentences(content)
print('nn'.join(sentences))

在處理文字時,會遇到需要將文字以 句子 為單位進行切分(分句)的場景,而文字又可以分為 中文文字 和 英文文字 ,處理的方法會略有不同。

本文會介紹 Python 是如何處理 分句 的。

這個函式可以透過修改 end_flag (結束符號),來自定義特定的句子切分方式,比如加入 ; 等符號。

當然,也可以用正規表示式來完成分句,使用 re.split 的方法。

import re

def cut_sentences(content):
	sentences = re.split(r'(.|!|?|。|!|?|.{6})', content)
	return sentences

content = content = '在處理文字時,會遇到需要將文字以 句子 為單位進行切分(分句)的場景,而文字又可以分為 中文文字 和 英文文字 ,處理的方法會略有不同。本文會介紹 Python 是如何處理 分句 的。'
sentences = cut_sentences(content)
print('nn'.join(sentences))

在處理文字時,會遇到需要將文字以 句子 為單位進行切分(分句)的場景,而文字又可以分為 中文文字 和 英文文字 ,處理的方法會略有不同。

本文會介紹 Python 是如何處理 分句 的。

推薦課程:

來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/964/viewspace-2832956/,如需轉載,請註明出處,否則將追究法律責任。

相關文章