宣告：個人筆記觀點，持續更新......
個人收集的自用及備用的自然語言處理相關資源，僅供學術交流
專案地址：https://github.com/junchaoIU/ChineseNLP_ResourceNote
Author：? Wu, Junchao
開源Python庫
| 專案 | 地址 | 簡介 |
|---|---|---|
| jieba分詞 | https://github.com/fxsjy/jieba | 中文分詞庫 |
| 中文資訊抽取工具 | https://github.com/fighting41love/cocoNLP | 從中文文字資料中抽取出結構化的資訊，如時間、手機號、運營商、郵箱、地址、人名、身份證 |
| LTP（Language Technology Platform） | https://github.com/HIT-SCIR/ltp | 提供了一系列中文自然語言處理工具，使用者可以使用這些工具對於中文文字進行分詞、詞性標註、句法分析等等工作 |
| 中文地址提取工具 | https://github.com/shibing624/addressparser | 支援中國三級區劃地址（省、市、區）提取和級聯對映，支援地址目的地熱力圖繪製。適配python2和python3 |
| 中文公司名稱分詞工具 | https://github.com/shibing624/companynameparser | 支援公司名稱中的地名，品牌名（主詞），行業詞，公司名字尾提取 |
| 漢字數字(中文數字)-阿拉伯數字轉換工具 | https://github.com/Wall-ee/chinese2digits | 是一個將中文數字（大寫數字） 轉化為阿拉伯數字的工具 |
| HarvestText | https://github.com/blmoistawinde/HarvestText | 是一個專注無（弱）監督方法，能夠整合領域知識（如型別，別名）對特定領域文字進行簡單高效地處理和分析的庫。適用於許多文字預處理和初步探索性分析任務，在小說分析，網路文字，專業文獻等領域都有潛在應用價值 |
知識圖譜相關
| 專案 | 地址 | 簡介 |
|---|---|---|
| 文件圖譜資訊視覺化 | https://github.com/liuhuanyong/TextGrapher | 輸入一篇文件，將文件進行關鍵資訊提取，進行結構化，並最終組織成圖譜組織形式，形成對文章語義資訊的圖譜化展示。 |
| 京東GoodsKG | https://github.com/liuhuanyong/ProductKnowledgeGraph | 基於京東網站的商品上下級概念，商品品牌之間關係，商品描述維度等知識庫，基於該知識庫可以支援商品屬性庫構建，商品銷售問答，品牌物品生產等知識查詢服務，也可用於情感分析等下游應用． |
| 思知知識圖譜 | https://github.com/ownthink/KnowledgeGraphData | 史上最大規模1.4億中文知識圖譜開源下載，知識圖譜，通用知識圖譜，融合了兩千五百多萬的實體，擁有億級別的實體屬性關係。 |
| stock-knowledge-graph | https://github.com/lemonhu/stock-knowledge-graph | （neo4j）利用網路上公開的資料構建一個小型的證券知識圖譜/知識庫 |
| 事件三元組抽取 | https://github.com/liuhuanyong/EventTriplesExtraction | 基於依存句法與語義角色標註的事件三元組抽取，可用於文字理解如文件主題鏈，事件線等應用。內建LTP、百度DDParser和規則模版的三種抽取方式 |
| 中文人物知識圖譜構建 | https://github.com/liuhuanyong/PersonRelationKnowledgeGraph | 中文人物關係知識圖譜專案,內容包括中文人物關係圖譜構建,基於知識庫的資料回標,基於遠端監督與bootstrapping方法的人物關係抽取,基於知識圖譜的知識問答等應用. |
| awesome-knowledge-graph | https://github.com/husthuke/awesome-knowledge-graph | 整理知識圖譜相關學習資料，提供系統化的知識圖譜學習路徑。 |
語料&資料集
| 專案 | 地址 | 簡介 |
|---|---|---|
| ChineseNlpCorpus | https://github.com/SophonPlus/ChineseNlpCorpus | 蒐集、整理、釋出 中文 自然語言處理 語料/資料集, 包含情感/觀點/評論 傾向性分析、中文命名實體識別、推薦系統、FAQ 問答系統多個領域的資料集 |
| 公司名語料庫（Company-Names-Corpus） | https://github.com/wainshine/Company-Names-Corpus | 公司名語料庫。機構名語料庫。公司簡稱,縮寫,品牌詞,企業名。可用於中文分詞、機構名實體識別。 |
| 微信公眾號語料庫 | https://github.com/nonamestreet/weixin_public_corpus | 部分網路抓取的微信公眾號的文章，已經去除HTML，只包含了純文字。 |
| 百度知道問答語料庫 | https://github.com/liuhuanyong/MiningZhiDaoQACorpus | 百度知道問答語料庫，包括超過580萬的問題，938萬的答案，5800個分類標籤。基於該問答語料庫，可支援多種應用，如閒聊問答，邏輯挖掘。 |
| 多語言音訊資料 | https://voice.mozilla.org/en/datasets | 多種語言音訊資料，包括來自42,000名貢獻者超過1,400小時的語音樣本，涵github |
| 中文突發事件語料庫 | https://github.com/shijiebei2009/CEC-Corpus | 中文突發事件語料庫是由上海大學（語義智慧實驗室）所構建。根據國務院頒佈的《國家突發公共事件總體應急預案》的分類體系，從網際網路上收集了5類（地震、火災、交通事故、恐怖襲擊和食物中毒）突發事件的新聞報導作為生語料，然後再對生語料進行文字預處理、文字分析、事件標註以及一致性檢查等處理，最後將標註結果儲存到語料庫中，CEC合計332篇。 |
| dh_msra | 下載地址 | 5 萬多條中文命名實體識別標註資料（包括地點、機構、人物） |
詞表
| 專案 | 地址 | 簡介 |
|---|---|---|
| multistop | https://github.com/hidadeng/multistop | 停用詞表，支援中英法德等15種語言 |
其他可能有幫助的研究
| 專案 | 地址 | 簡介 |
|---|---|---|
| 事理知識抽取研究 | https://github.com/liuhuanyong/ComplexEventExtraction | 中文複合事件抽取，包括條件事件、因果事件、順承事件、反轉事件等事件抽取，並形成事理圖譜。 |
| 領域情感詞典構建 | https://github.com/hidadeng/wordexpansion | 使用SO_PMI互資訊演算法簡單快速構建不同領域(手機、汽車等)的專業情感詞典 |
- 個人部落格：春天與愛情の櫻花
- 部落格園：夢淑の部落格園
- 語雀：CCの知識庫
- Github：https://github.com/junchaoIU
有什麼問題請致郵：wujunchaoIU@outlook.com,我會第一時間為你解答