使用貝葉斯進行新聞分類

bo_hai發表於2020-09-29

貝葉斯新聞分類任務

  • 新聞資料集處理

爬取的新聞資料，需要我們對文字資料進行很多預處理才能使用

  • 文字分詞

通常我們處理的都是詞而不是一篇文章

  • 去停用詞

停用詞會對結果產生不好的影響，所以一定得把他們去剔除掉

  • 構建文字特徵

如何構建合適特徵是自然語言處理中最重要的一步，這倆我們選擇兩種方案來進行對比

  • 貝葉斯分類

基於貝葉斯演算法來完成最終的分類任務

import csv

import jieba.analyse
import pandas as pd
from sklearn.feature_extraction.text import CountVectorizer
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.model_selection import train_test_split
from sklearn.naive_bayes import MultinomialNB

df_news = pd.read_table(filepath_or_buffer='./bayes/data.txt',names=['category','theme','URL','content'],encoding='UTF-8')
df_news.dropna()
df_news.tail()
categorythemeURLcontent
4995時尚常吃六類食物快速補充水分http://lady.people.com.cn/GB/18248366.html隨著天氣逐漸炎熱，補水變得日益重要。據美國《跑步世界》雜誌報導，喝水並不是為身體補充水分的唯...
4996時尚情感：你是我的那盤菜　吃不起我走【２】http://lady.people.com.cn/n/2012/0712/c1014-18...我其實不想說這些話刺激他，他也是不得已。可是，我又該怎樣說，怎樣做？我只能走，離開這個傷心地...
4997時尚揭祕不老女神劉曉慶的四任丈夫（圖）http://lady.people.com.cn/n/2012/0730/c1014-18...５８歲劉曉慶最新嫩照Ｏ衷詰牧蹕慶絕對看不出她已經５８歲了，她絕對可以秒殺劉亦菲、范冰冰這類美...
4998時尚樣板潮爸　時尚圈裡的父親們http://lady.people.com.cn/GB/18215232.html導語：做了爸爸就是一種幸福，無論是領養還是親生，更何況出現在影視劇中。時尚圈永遠是需要領軍人...
4999時尚全球最美女人長啥樣？中國最美女人酷似章子怡（圖）http://lady.people.com.cn/BIG5/n/2012/0727/c10...全球最美女人合成圖：：國整形外科教授李承哲，在國際學術雜誌美容整形外科學會學報發表了考慮種族...
stopwords = pd.read_table(filepath_or_buffer='./bayes/stopwords.txt',names=['stopword'],sep='\t',quoting=csv.QUOTE_NONE,encoding='UTF-8')
stopwords = stopwords['stopword'].values.tolist()


content_arr = df_news['content'].values.tolist()
content_arr[0]

'經銷商\u3000電話\u3000試駕／訂車Ｕ憬杭州濱江區江陵路１７８０號４００８－１１２２３３轉５８６４＃保常叮００萬９闃菔邪自魄白雲大道北１３６１號；廣州市天河區黃埔大道西１００號富力盈泰大廈１０５室４００８－１１２２３３轉９９１５＃保常福００萬Ｉ蕉省淄博市張店區山泉路８９號４００８－１１２２３３轉５１５６＃保常叮００萬４罅保稅區黃海西三路１０１號４００８－１１２２３３轉２６０３＃保玻埃００萬Ｌ粕絞新紡杴復興路２１號４００８－１１２２３３轉３０４３＃保常叮００萬Ｖ洩雲南昆明市度假區滇池路１２６８號４００８－１１２２３３轉７３１２＃保常叮００萬Ｒ川市興慶區麗景北街８００號４００８－１１２２３３轉３２６９＃保常叮００萬９爾濱市道外區先鋒路４６９號４００８－１１２２３３轉２０２９＃保矗福００萬３ど呈刑煨那桂花坪街道雀園路口／星沙中南汽車世界Ａ區０５號４００８－１１２２３３轉７６６６＃保常梗００萬Ｎ浜菏信塘城經濟開發區盤龍汽車城＃矗埃埃福１１２２３３轉７５２４＃保常叮００萬９闃莘禺區市廣路９８９號（祈福食街旁）＃矗埃埃福１１２２３３轉９９６３＃保常叮００萬Ｆ侄新區御橋路１３７７號４００８－１１２２３３轉６３３７＃保常福００萬０不帳『戲適邪河工業區緯一路２２號１３８．００萬Ｉ蝦Ｊ斜ι角江楊南路１３８１號４００８－１１２２３３轉６７２２＃保常叮００萬ｔ奚蕉路１９８號４００８－１１２２３３轉５９３３＃保常叮００萬１本┦諧陽區北四環望京街６８號４００８－１１２２３３轉８６１５＃保玻福００萬１本┦脅平區立湯路亞北博晟汽車匯展中心＃保埃福８６萬＝西省南昌市青山湖區科技大道５９９號１３６．００萬Ｉ苄聳信勱工業區康寧路車管所對面＃保常叮００萬Ｄ暇┦薪寧區天元中路１１１號４００８－１１２２３３轉５５０１＃保常叮００萬３ご菏形饜戮濟技術開發區長沈路４２２２號１３６．００萬Ｊ家莊市北二環東路８６號河北國際汽車貿易園區＃矗埃埃福１１２２３３轉３１７８＃保矗福００萬８壅⑶城港路９９號廣達車城永興路３號１３６．００萬Ｉ蜓羰刑西區北二中路１１號４００８－１１２２３３轉２４９８＃保常叮００萬３啥際星嘌虼蟮潰保福負牛ㄐ攣幕宮對面）＃保矗常８０萬Ａ贍省瀋陽市皇姑區鴨綠江街３２號甲（長客總站北行１５００米）＃保矗福００萬Ｉ鉦謔新蘚區羅芳立交六星汽車園進口大眾４Ｓ店４００８－１１２２３３轉９８６６＃保擔埃００萬３ご憾環城路１００５６號１３６．００萬'

content_words = []
for line in content_arr:
    current_segment = jieba.lcut(line)
    if len(current_segment) > 1 and current_segment != '\t\r':
        content_words.append(current_segment)
content_words[0]

['經銷商',
 '\u3000',
 '電話',
 '\u3000',
 '試駕',
 '／',
 '訂車',
 'Ｕ',
 '憬',
 '杭州',
 '濱江區',
 '江陵',
 '路',
 '１',
 '７',
 '８',
 '０',
 '號',
 '４',
 '０',
 '０',
 '８',
 '－',
 '１',
 '１',
 '２',
 '２',
 '３',
 '３',
 '轉',
 '５',
 '８',
 '６',
 '４',
 '＃',
 '保常',
 '叮',
 '０',
 '０',
 '萬',
 '９',
 '闃',
 '菔',
 '邪',
 '自魄',
 '白雲',
 '大道北',
 '１',
 '３',
 '６',
 '１',
 '號',
 '；',
 '廣州市',
 '天河區',
 '黃埔',
 '大道',
 '西',
 '１',
 '０',
 '０',
 '號',
 '富力',
 '盈泰',
 '大廈',
 '１',
 '０',
 '５',
 '室',
 '４',
 '０',
 '０',
 '８',
 '－',
 '１',
 '１',
 '２',
 '２',
 '３',
 '３',
 '轉',
 '９',
 '９',
 '１',
 '５',
 '＃',
 '保常福',
 '０',
 '０',
 '萬',
 'Ｉ',
 '蕉',
 '省',
 '淄博市',
 '張店區',
 '山泉',
 '路',
 '８',
 '９',
 '號',
 '４',
 '０',
 '０',
 '８',
 '－',
 '１',
 '１',
 '２',
 '２',
 '３',
 '３',
 '轉',
 '５',
 '１',
 '５',
 '６',
 '＃',
 '保常',
 '叮',
 '０',
 '０',
 '萬',
 '４',
 '罅',
 '保稅區',
 '黃海',
 '西',
 '三路',
 '１',
 '０',
 '１',
 '號',
 '４',
 '０',
 '０',
 '８',
 '－',
 '１',
 '１',
 '２',
 '２',
 '３',
 '３',
 '轉',
 '２',
 '６',
 '０',
 '３',
 '＃',
 '保玻埃',
 '０',
 '０',
 '萬',
 'Ｌ',
 '粕',
 '絞',
 '新',
 '紡杴',
 '復興路',
 '２',
 '１',
 '號',
 '４',
 '０',
 '０',
 '８',
 '－',
 '１',
 '１',
 '２',
 '２',
 '３',
 '３',
 '轉',
 '３',
 '０',
 '４',
 '３',
 '＃',
 '保常',
 '叮',
 '０',
 '０',
 '萬',
 'Ｖ',
 '洩',
 '雲南',
 '昆明市',
 '度假區',
 '滇池',
 '路',
 '１',
 '２',
 '６',
 '８',
 '號',
 '４',
 '０',
 '０',
 '８',
 '－',
 '１',
 '１',
 '２',
 '２',
 '３',
 '３',
 '轉',
 '７',
 '３',
 '１',
 '２',
 '＃',
 '保常',
 '叮',
 '０',
 '０',
 '萬',
 'Ｒ',
 '川市',
 '興慶區',
 '麗景',
 '北街',
 '８',
 '０',
 '０',
 '號',
 '４',
 '０',
 '０',
 '８',
 '－',
 '１',
 '１',
 '２',
 '２',
 '３',
 '３',
 '轉',
 '３',
 '２',
 '６',
 '９',
 '＃',
 '保常',
 '叮',
 '０',
 '０',
 '萬',
 '９',
 '爾濱市',
 '道外區',
 '先鋒',
 '路',
 '４',
 '６',
 '９',
 '號',
 '４',
 '０',
 '０',
 '８',
 '－',
 '１',
 '１',
 '２',
 '２',
 '３',
 '３',
 '轉',
 '２',
 '０',
 '２',
 '９',
 '＃',
 '保',
 '矗福',
 '０',
 '０',
 '萬',
 '３',
 'ど',
 '呈刑',
 '煨',
 '那',
 '桂花',
 '坪',
 '街道',
 '雀園',
 '路口',
 '／',
 '星沙',
 '中南',
 '汽車',
 '世界',
 'Ａ',
 '區',
 '０',
 '５',
 '號',
 '４',
 '０',
 '０',
 '８',
 '－',
 '１',
 '１',
 '２',
 '２',
 '３',
 '３',
 '轉',
 '７',
 '６',
 '６',
 '６',
 '＃',
 '保常',
 '梗',
 '０',
 '０',
 '萬',
 'Ｎ',
 '浜',
 '菏',
 '信塘城',
 '經濟',
 '開發區',
 '盤龍',
 '汽車城',
 '＃',
 '矗埃埃福',
 '１',
 '１',
 '２',
 '２',
 '３',
 '３',
 '轉',
 '７',
 '５',
 '２',
 '４',
 '＃',
 '保常',
 '叮',
 '０',
 '０',
 '萬',
 '９',
 '闃莘禺',
 '區市',
 '廣路',
 '９',
 '８',
 '９',
 '號',
 '（',
 '祈福',
 '食街',
 '旁',
 '）',
 '＃',
 '矗埃埃福',
 '１',
 '１',
 '２',
 '２',
 '３',
 '３',
 '轉',
 '９',
 '９',
 '６',
 '３',
 '＃',
 '保常',
 '叮',
 '０',
 '０',
 '萬',
 'Ｆ',
 '侄',
 '新區',
 '御橋',
 '路',
 '１',
 '３',
 '７',
 '７',
 '號',
 '４',
 '０',
 '０',
 '８',
 '－',
 '１',
 '１',
 '２',
 '２',
 '３',
 '３',
 '轉',
 '６',
 '３',
 '３',
 '７',
 '＃',
 '保常福',
 '０',
 '０',
 '萬',
 '０',
 '不帳',
 '『',
 '戲適',
 '邪河',
 '工業區',
 '緯',
 '一路',
 '２',
 '２',
 '號',
 '１',
 '３',
 '８',
 '．',
 '０',
 '０',
 '萬',
 'Ｉ',
 '蝦',
 'Ｊ',
 '斜',
 'ι',
 '角江',
 '楊',
 '南路',
 '１',
 '３',
 '８',
 '１',
 '號',
 '４',
 '０',
 '０',
 '８',
 '－',
 '１',
 '１',
 '２',
 '２',
 '３',
 '３',
 '轉',
 '６',
 '７',
 '２',
 '２',
 '＃',
 '保常',
 '叮',
 '０',
 '０',
 '萬',
 'ｔ',
 '奚蕉路',
 '１',
 '９',
 '８',
 '號',
 '４',
 '０',
 '０',
 '８',
 '－',
 '１',
 '１',
 '２',
 '２',
 '３',
 '３',
 '轉',
 '５',
 '９',
 '３',
 '３',
 '＃',
 '保常',
 '叮',
 '０',
 '０',
 '萬',
 '１',
 '本',
 '┦',
 '諧陽區',
 '北四環',
 '望京',
 '街',
 '６',
 '８',
 '號',
 '４',
 '０',
 '０',
 '８',
 '－',
 '１',
 '１',
 '２',
 '２',
 '３',
 '３',
 '轉',
 '８',
 '６',
 '１',
 '５',
 '＃',
 '保玻福',
 '０',
 '０',
 '萬',
 '１',
 '本',
 '┦',
 '脅',
 '平區立',
 '湯路',
 '亞北博晟',
 '汽車',
 '匯展',
 '中心',
 '＃',
 '保埃福',
 '８',
 '６',
 '萬',
 '＝',
 '西省',
 '南昌市',
 '青山湖區',
 '科技',
 '大道',
 '５',
 '９',
 '９',
 '號',
 '１',
 '３',
 '６',
 '．',
 '０',
 '０',
 '萬',
 'Ｉ',
 '苄',
 '聳信',
 '勱',
 '工業區',
 '康寧',
 '路',
 '車管所',
 '對面',
 '＃',
 '保常',
 '叮',
 '０',
 '０',
 '萬',
 'Ｄ',
 '暇',
 '┦',
 '薪寧區',
 '天元',
 '中路',
 '１',
 '１',
 '１',
 '號',
 '４',
 '０',
 '０',
 '８',
 '－',
 '１',
 '１',
 '２',
 '２',
 '３',
 '３',
 '轉',
 '５',
 '５',
 '０',
 '１',
 '＃',
 '保常',
 '叮',
 '０',
 '０',
 '萬',
 '３',
 'ご',
 '菏形',
 '饜',
 '戮濟',
 '技術開發區',
 '長沈路',
 '４',
 '２',
 '２',
 '２',
 '號',
 '１',
 '３',
 '６',
 '．',
 '０',
 '０',
 '萬',
 'Ｊ',
 '家莊',
 '市',
 '北二環',
 '東路',
 '８',
 '６',
 '號',
 '河北',
 '國際',
 '汽車貿易',
 '園區',
 '＃',
 '矗埃埃福',
 '１',
 '１',
 '２',
 '２',
 '３',
 '３',
 '轉',
 '３',
 '１',
 '７',
 '８',
 '＃',
 '保',
 '矗福',
 '０',
 '０',
 '萬',
 '８',
 '壅',
 '⑶',
 '城港路',
 '９',
 '９',
 '號',
 '廣達',
 '車城',
 '永興路',
 '３',
 '號',
 '１',
 '３',
 '６',
 '．',
 '０',
 '０',
 '萬',
 'Ｉ',
 '蜓',
 '羰刑',
 '西區',
 '北二',
 '中路',
 '１',
 '１',
 '號',
 '４',
 '０',
 '０',
 '８',
 '－',
 '１',
 '１',
 '２',
 '２',
 '３',
 '３',
 '轉',
 '２',
 '４',
 '９',
 '８',
 '＃',
 '保常',
 '叮',
 '０',
 '０',
 '萬',
 '３',
 '啥際星',
 '嘌',
 '虼',
 '蟮',
 '潰',
 '保福',
 '負牛',
 'ㄐ',
 '攣幕宮',
 '對面',
 '）',
 '＃',
 '保',
 '矗常',
 '８',
 '０',
 '萬',
 'Ａ',
 '贍省',
 '瀋陽市',
 '皇姑區',
 '鴨綠江',
 '街',
 '３',
 '２',
 '號',
 '甲',
 '（',
 '長客',
 '總站',
 '北',
 '行',
 '１',
 '５',
 '０',
 '０',
 '米',
 '）',
 '＃',
 '保',
 '矗福',
 '０',
 '０',
 '萬',
 'Ｉ',
 '鉦',
 '謔',
 '新蘚區',
 '羅芳',
 '立交',
 '六星',
 '汽車',
 '園',
 '進口',
 '大眾',
 '４',
 'Ｓ',
 '店',
 '４',
 '０',
 '０',
 '８',
 '－',
 '１',
 '１',
 '２',
 '２',
 '３',
 '３',
 '轉',
 '９',
 '８',
 '６',
 '６',
 '＃',
 '保擔',
 '埃',
 '０',
 '０',
 '萬',
 '３',
 'ご',
 '憾',
 '環城路',
 '１',
 '０',
 '０',
 '５',
 '６',
 '號',
 '１',
 '３',
 '６',
 '．',
 '０',
 '０',
 '萬']

def drop_stopwords(content_words,stopwords):
    content_words_clean = []
    for line_words in content_words:
        line_clean = []
        for word in line_words:
            if word in stopwords:
                continue
            line_clean.append(word)
        content_words_clean.append(line_clean)
    return content_words_clean

content_words_clean = drop_stopwords(content_words,stopwords)

train_data = pd.DataFrame({"content_clean":content_words_clean,"label":df_news['category']})
train_data.head()
content_cleanlabel
0[經銷商, 電話, 試駕, 訂車, Ｕ, 憬, 杭州, 濱江區, 江陵, 路, 號, 轉, ...汽車
1[呼叫, 熱線, 服務, 郵箱, ｋ, ｆ, ｐ, ｅ, ｏ, ｐ, ｌ, ｅ, ｄ, ａ,...汽車
2[Ｍ, Ｉ, Ｎ, Ｉ, 品牌, 二月, 公佈, 最新, Ｍ, Ｉ, Ｎ, Ｉ, 新, 概念...汽車
3[清倉, 甩賣, 一汽, 夏利, Ｎ, 威志, Ｖ, 低至, 萬, 啟新, 中國, 一汽, ...汽車
4[日內瓦, 車展, 見到, 高爾夫, 家族, 新, 成員, 高爾夫, 敞篷版, 款, 全新,...汽車
label_mapping = {"汽車": 1, "財經": 2, "科技": 3, "健康": 4, "體育":5, "教育": 6,"文化": 7,"軍事": 8,"娛樂": 9,"時尚": 0}

train_data['label'].unique()

array(['汽車', '財經', '科技', '健康', '體育', '教育', '文化', '軍事', '娛樂', '時尚'],
      dtype=object)

train_data['label'] = train_data['label'].map(label_mapping)
train_data.head()
content_cleanlabel
0[經銷商, 電話, 試駕, 訂車, Ｕ, 憬, 杭州, 濱江區, 江陵, 路, 號, 轉, ...1
1[呼叫, 熱線, 服務, 郵箱, ｋ, ｆ, ｐ, ｅ, ｏ, ｐ, ｌ, ｅ, ｄ, ａ,...1
2[Ｍ, Ｉ, Ｎ, Ｉ, 品牌, 二月, 公佈, 最新, Ｍ, Ｉ, Ｎ, Ｉ, 新, 概念...1
3[清倉, 甩賣, 一汽, 夏利, Ｎ, 威志, Ｖ, 低至, 萬, 啟新, 中國, 一汽, ...1
4[日內瓦, 車展, 見到, 高爾夫, 家族, 新, 成員, 高爾夫, 敞篷版, 款, 全新,...1
x_train,x_test,y_train,y_test = train_test_split(train_data['content_clean'].values,train_data['label'].values,random_state=1)


train_words = []
for line_index in range(len(x_train)):
    train_words.append(' '.join(x_train[line_index]))
train_words[0]

'中新網 上海 日電 於俊 父親節 網路 吃 一頓 電影 快餐 微 電影 爸 對不起 我愛你 定於 本月 父親節 當天 各大 視訊 網站 首映 葜 譜 鞣 劍 保慈 障蚣 欽 囈 檣 埽 ⒌ 纈 埃 ǎ 停 椋 悖 潁 鎩 媯 椋 恚 稱 微型 電影 新 媒體 平臺 播放 狀態 短時 休閒 狀態 觀看 完整 策劃 系統 製作 體系 支援 顯示 較完整 故事情節 電影 微 超短 放映 微 週期 製作 天 數週 微 規模 投資 人民幣 幾千 數萬元 每部 內容 融合 幽默 搞怪 時尚 潮流 人文 言情 公益 教育 商業 定製 主題 單獨 成篇 系列 成劇 脣 開播 微 電影 爸 對不起 我愛你 講述 一對 父子 觀念 缺少 溝通 導致 關係 父親 傳統 固執 鍾情 傳統 生活 方式 兒子 新派 音樂 達 習慣 晚出 早 生活 性格 張揚 叛逆 兩種 截然不同 生活 方式 理念 差異 一場 父子 間 拉開序幕 子 失手 打破 父親 心愛 物品 父親 趕出 家門 劇情 演繹 父親節 妹妹 哥哥 化解 父親 這場 矛盾 映逋壞 嚼 斫 狻 ⒍ 粵 ⒌ 槳容 爭執 退讓 傳統 尷尬 父子 尷尬 情 男人 表達 心中 那份 感恩 一杯 濾掛 咖啡 父親節 變得 溫馨 鎂 纈 繕 蝦 Ｎ 逄 煳 幕 傳播 迪歐 咖啡 聯合 出品 出品人 希望 觀摩 捫心自問 父親節 父親 記得 父親 生日 哪一天 父親 愛喝 跨出 家門 那一刻 感覺 一顆 顫動 心 操勞 天下 兒女 父親節 大聲 喊出 父親 家人 愛 完'

test_words = []
for line_index in range(len(x_test)):
    test_words.append(' '.join(x_test[line_index]))
test_words[0]

'國家 公務員 考試 申論 應用文 類 試題 實質 一道 集 概括 分析 提出 解決問題 一體 綜合性 試題 說 一道 客觀 凝練 申發 論述 文章 題目 分析 歷年 國考 申論 真題 公文 類 試題 型別 多樣 包括 公文 類 事務性 文書 類 題材 從題 幹 作答 材料 內容 整合 分析 無需 太 創造性 發揮 縱觀 歷年 申論 真題 作答 應用文 類 試題 文種 格式 作出 特別 重在 內容 考查 行文 格式 考生 平常心 面對 應用文 類 試題 準確 把握 作答 領會 內在 含義 把握 題材 主旨 材料 結構 輕鬆 應對 應用文 類 試題 Ｒ 弧 ⒆ 釩 鹽 展文 寫作 原則 Ｔ 材料 中來 應用文 類 試題 材料 總體 把握 客觀 考生 材料 中來 材料 中 把握 材料 準確 理解 題材 主旨 Ｔ 政府 角度 作答 應用文 類 試題 更應 注重 政府 角度 觀點 政府 角度 出發 原則 表述 觀點 提出 解決 之策 考生 作答 站 政府 人員 角度 看待 提出 解決問題 Ｔ 文體 結構 形式 考查 重點 文體 結構 大部分 評分 關鍵點 解答 方法 薄 ⒆ ス 丶 詞 明 方向 作答 題目 題幹 作答 作答 方向 作答 角度 關鍵 嚮導 考生 仔細閱讀 題幹 作答 抓住 關鍵詞 作答 方向 相關 要點 整理 作答 思路 年國考 地市級 真 題為 例 潦惺姓 府 宣傳 推進 近海 水域 汙染 整治 工作 請 給定 資料 市政府 工作人員 身份 草擬 一份 宣傳 綱要 Ｒ 求 保對 宣傳 內容 要點 提綱挈領 陳述 玻 體現 政府 精神 全市 各界 關心 支援 汙染 整治 工作 通俗易懂 超過 字 骯 丶 詞 近海 水域 汙染 整治 工作 市政府 工作人員 身份 宣傳 綱要 提綱挈領 陳述 體現 政府 精神 全市 各界 關心 支援 汙染 整治 工作 通俗易懂 提示 歸結 作答 要點 包括 汙染 情況 原因 解決 對策 作答 思路 情況 原因 對策 意義 邏輯 順序 安排 文章 結構 病 ⒋ 缶殖 齜 ⅲ 明 結構 解答 應用文 類 試題 考生 材料 整體 出發 大局 出發 高屋建瓴 把握 材料 主題 思想 事件 起因 解決 對策 閱讀文章 構建 文章 結構 直至 快速 解答 場 ⒗ 硭 乘悸 罰明 邏輯 應用文 類 試題 嚴密 邏輯思維 情況 原因 對策 意義 考生 作答 先 弄清楚 解答 思路 統籌安排 脈絡 清晰 邏輯 表達 內容 表述 礎 把握 明 詳略 考生 仔細閱讀 分析 揣摩 應用文 類 試題 內容 答題 時要 詳略 得當 主次 分明 安排 內容 增加 文章 層次感 閱卷 老師 閱卷 時能 明白 清晰 一目瞭然 玻埃 保蹦旯 考 考試 申論 試卷 分為 省級 地市級 兩套 試卷 能力 大有 省級 申論 試題 考生 巨集觀 角度看 注重 深度 廣度 考生 深謀遠慮 地市級 試題 考生 微觀 視角 觀察 側重 考查 解決 能力 考生 貫徹執行 作答 區別對待'

cv = CountVectorizer(analyzer='word',max_features=5000,lowercase=False)
feature  = cv.fit_transform(train_words)
classifier = MultinomialNB()
classifier.fit(feature,y_train)
classifier.score(cv.transform(test_words),y_test)

0.8048

tv = TfidfVectorizer(analyzer='word',max_features=5000,lowercase=False)
feature = tv.fit_transform(train_words)
classifier = MultinomialNB()
classifier.fit(feature,y_train)
classifier.score(tv.transform(test_words),y_test)

0.816

選擇一篇文章進行測試

test_content  = "昨日，滬指收盤擊穿鑽石底，報２１２６點，創２００９年３月以來新低，深指破位９１００點關口。　鑽石底淪陷，兩市昨日交投不足千億，Ａ股持倉賬戶比例下滑至３３．９６％創新低，股民投資意願降至“冰點”。Ａ頭地產股大跌Ａ絞凶蛉找蝗緙韌低開，盤初窄幅震盪，滬指一度突破５日均線，升至日內高點２１４７．６６點，深指衝上９２００點。Ｎ綰螅受困基本面表現乏力、利好訊息缺失，兩市成交持續低迷。地產板塊午後大幅下挫，四大龍頭地產股“招保萬金”放量大跌，加重場內擔憂，權重股紛紛翻綠，導致兩市最後半小時放量跳水。Ｗ鈧眨滬指報收２１２６點，下跌０．４８％，創２００９年３月９日以來收盤新低。深指下跌０．８０％，收報９０８１．９０點，失守９１００點關口。＃凍燒嘶Э詹鑄＠醋災械槍司的最新資料顯示，７月１６日至７月２０日當週，新增Ａ股開戶數為８．４１萬戶，較上週增加０．６７萬戶，增幅８．５６％，已連續兩週增加。但上週市場參與度僅為５．０１％，已連降兩週；截至上週末，Ａ股持倉賬戶數為５６４５萬戶，較前一週減少７．１７萬戶，比例下滑至３３．９６％，續創歷史新低。Ｍ庾士始唱多Ｓ肷⒒У摹白山觀虎鬥”迥異的是，外資機構唱多聲音此起彼伏，更有機構“冰川期”滿倉操作。ＤΩ士丹利在其最新研報中稱，中國Ａ股和Ｈ股的估值都顯著低於歷史水平，年內應有較好表現；高盛高華則認為，上證指數有望到年底達到２７５０點。Ｍ庾駛構“看多”同時也做多。２００６年獲得Ａ股ＱＦＩＩ資格的愛德蒙得洛希爾資產管理公司總經理湯熠近日透露，該公司在Ａ股市場的７億多美元投資目前已滿倉操作。";
test_current_segment = jieba.lcut(test_content)
test_contents_clean = drop_stopwords(content_words = [test_current_segment],stopwords=stopwords)
t_words = [' '.join(test_contents_clean[0])]
classifier.predict(tv.transform(t_words))

array([2], dtype=int64)

參考資料：

  • 必須先用fit_transform(trainData)，之後再transform(testData)
  • 如果直接transform(testData)，程式會報錯
  • 如果fit_transfrom(trainData)後，使用fit_transform(testData)而不transform(testData)，雖然也能歸一化，但是兩個結果不是在同一個“標準”下的，具有明顯差異。(一定要避免這種情況)

https://blog.csdn.net/weixin_38278334/article/details/82971752

相關文章