停用詞是什麼

將資料轉換為計算機可以理解的內容的過程稱為預處理。預處理的主要形式之一是過濾掉無用的資料。在自然語言處理中，無用的單詞（資料）稱為停用詞。
停用詞是指搜尋引擎已程式設計忽略的常用詞（例如“the”，“a”，“an”，“in”）。
我們不希望這些單詞佔用我們資料庫中的空間，或佔用寶貴的處理時間。為此，我們可以通過儲存要停止使用的單詞的列表輕鬆刪除它們。python中的NLTK（自然語言工具包）具有以16種不同語言儲存的停用詞列表。可以在nltk_data目錄中找到它們。home / pratima / nltk_data / corpora / stopwords是目錄地址（不要忘記更改你的主目錄名稱）

從一段文字中刪除停用詞

from nltk.corpus import stopwords 
from nltk.tokenize import word_tokenize 

example_sent = "This is a sample sentence, showing off the stop words filtration."

stop_words = set(stopwords.words('english')) 

word_tokens = word_tokenize(example_sent) 

filtered_sentence = [w for w in word_tokens if not w in stop_words] 

print(word_tokens) 
print(filtered_sentence) 

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11
• 12
• 13
• 14

輸出為

['This', 'is', 'a', 'sample', 'sentence', ',', 'showing', 
'off', 'the', 'stop', 'words', 'filtration', '.']
['This', 'sample', 'sentence', ',', 'showing', 'stop',
'words', 'filtration', '.']

• 1
• 2
• 3
• 4