Python文字統計與分析從基礎到進階

华为云开发者联盟發表於2024-05-06
Python

本文分享自華為雲社群《Python文字統計與分析從基礎到進階》，作者：檸檬味擁抱。

在當今數字化時代，文字資料無處不在，它們包含了豐富的資訊，從社交媒體上的帖子到新聞文章再到學術論文。對於處理這些文字資料，進行統計分析是一種常見的需求，而Python作為一種功能強大且易於學習的程式語言，為我們提供了豐富的工具和庫來實現文字資料的統計分析。本文將介紹如何使用Python來實現文字英文統計，包括單詞頻率統計、詞彙量統計以及文字情感分析等。

單詞頻率統計

單詞頻率統計是文字分析中最基本的一項任務之一。Python中有許多方法可以實現單詞頻率統計，以下是其中一種基本的方法：

def count_words(text):
    # 將文字中的標點符號去除並轉換為小寫
    text = text.lower()
    for char in '!"#$%&\'()*+,-./:;<=>?@[\\]^_`{|}~':
        text = text.replace(char, ' ')
    
    # 將文字拆分為單詞列表
    words = text.split()

    # 建立一個空字典來儲存單詞計數
    word_count = {}
    
    # 遍歷每個單詞並更新字典中的計數
    for word in words:
        if word in word_count:
            word_count[word] += 1
        else:
            word_count[word] = 1
    
    return word_count

# 測試程式碼
if __name__ == "__main__":
    text = "This is a sample text. We will use this text to count the occurrences of each word."
    word_count = count_words(text)
    for word, count in word_count.items():
        print(f"{word}: {count}")

這段程式碼定義了一個函式 count_words(text)，它接受一個文字字串作為引數，並返回一個字典，其中包含文字中每個單詞及其出現的次數。下面是對程式碼的逐行解析：

def count_words(text):：定義了一個函式 count_words，該函式接受一個引數 text，即要處理的文字字串。

text = text.lower()：將文字字串轉換為小寫字母，這樣可以使單詞統計不受大小寫影響。

for char in '!"#$%&\'()*+,-./:;<=>?@[\\]^_{|}~’:`：這是一個迴圈，遍歷了文字中的所有標點符號。

text = text.replace(char, ' ')：將文字中的每個標點符號替換為空格，這樣可以將標點符號從文字中刪除。

words = text.split()：將處理後的文字字串按空格分割為單詞列表。

word_count = {}：建立一個空字典，用於儲存單詞計數，鍵是單詞，值是該單詞在文字中出現的次數。

for word in words:：遍歷單詞列表中的每個單詞。

if word in word_count:：檢查當前單詞是否已經在字典中存在。

word_count[word] += 1：如果單詞已經在字典中存在，則將其出現次數加1。

else:：如果單詞不在字典中，執行以下程式碼。

word_count[word] = 1：將新單詞新增到字典中，並將其出現次數設定為1。

return word_count：返回包含單詞計數的字典。

if __name__ == "__main__":：檢查指令碼是否作為主程式執行。

text = "This is a sample text. We will use this text to count the occurrences of each word."：定義了一個測試文字。

word_count = count_words(text)：呼叫 count_words 函式，將測試文字作為引數傳遞，並將結果儲存在 word_count 變數中。

for word, count in word_count.items():：遍歷 word_count 字典中的每個鍵值對。

print(f"{word}: {count}")：列印每個單詞和其出現次數。

執行結果如下

Python文字統計與分析從基礎到進階

進一步最佳化與擴充套件

import re
from collections import Counter
def count_words(text):
    # 使用正規表示式將文字分割為單詞列表（包括連字元單詞）
    words = re.findall(r'\b\w+(?:-\w+)*\b', text.lower())

    # 使用Counter來快速統計單詞出現次數
    word_count = Counter(words)

    return word_count
# 測試程式碼
if __name__ == "__main__":
    text = "This is a sample text. We will use this text to count the occurrences of each word."
    word_count = count_words(text)
    for word, count in word_count.items():
        print(f"{word}: {count}")

這段程式碼與之前的示例相比有以下不同之處：

  1. 使用了正規表示式 re.findall() 來將文字分割為單詞列表。這個正規表示式 \b\w+(?:-\w+)*\b 匹配單詞，包括連字元單詞（如 “high-tech”）。
  2. 使用了 Python 標準庫中的 Counter 類來進行單詞計數，它更高效，並且程式碼更簡潔。

這個實現更加高階，更加健壯，並且處理了更多的特殊情況，比如連字元單詞。

執行結果如下

Python文字統計與分析從基礎到進階

文字預處理

在進行文字分析之前，通常需要進行文字預處理，包括去除標點符號、處理大小寫、詞形還原（lemmatization）和詞幹提取（stemming）等。這樣可以使得文字資料更加規範化和準確。

使用更高階的模型

除了基本的統計方法外，我們還可以使用機器學習和深度學習模型來進行文字分析，例如文字分類、命名實體識別和情感分析等。Python中有許多強大的機器學習庫，如Scikit-learn和TensorFlow，可以幫助我們構建和訓練這些模型。

處理大規模資料

當面對大規模的文字資料時，我們可能需要考慮並行處理和分散式計算等技術，以提高處理效率和降低計算成本。Python中有一些庫和框架可以幫助我們實現這些功能，如Dask和Apache Spark。

結合其他資料來源

除了文字資料外，我們還可以結合其他資料來源，如影像資料、時間序列資料和地理空間資料等，進行更加全面和多維度的分析。Python中有許多資料處理和視覺化工具，可以幫助我們處理和分析這些資料。

總結

本文深入介紹瞭如何使用Python實現文字英文統計，包括單詞頻率統計、詞彙量統計以及文字情感分析等。以下是總結：

單詞頻率統計：

  • 透過Python函式count_words(text)，對文字進行處理並統計單詞出現的頻率。
  • 文字預處理包括將文字轉換為小寫、去除標點符號等。
  • 使用迴圈遍歷文字中的單詞，使用字典來儲存單詞及其出現次數。

進一步最佳化與擴充套件：

  • 引入正規表示式和Counter類，使程式碼更高效和健壯。
  • 使用正規表示式將文字分割為單詞列表，包括處理連字元單詞。
  • 使用Counter類進行單詞計數，簡化了程式碼。

文字預處理：

文字預處理是文字分析的重要步驟，包括去除標點符號、處理大小寫、詞形還原和詞幹提取等，以規範化文字資料。

使用更高階的模型：

介紹了使用機器學習和深度學習模型進行文字分析的可能性，如文字分類、命名實體識別和情感分析等。

處理大規模資料：

提及了處理大規模文字資料時的技術考量，包括並行處理和分散式計算等，以提高效率和降低成本。

結合其他資料來源：

探討了結合其他資料來源進行更全面和多維度分析的可能性，如影像資料、時間序列資料和地理空間資料等。

總結：

強調了本文介紹的內容，以及對未來工作的展望，鼓勵進一步研究和探索，以適應更復雜和多樣化的文字資料分析任務。

透過本文的學習，讀者可以掌握使用Python進行文字英文統計的基本方法，並瞭解如何進一步最佳化和擴充套件這些方法，以應對更復雜的文字分析任務。

點選關注，第一時間瞭解華為雲新鮮技術~

相關文章