NLP漢語自然語言處理入門基礎知識介紹

自然語言處理定義：

自然語言處理是 一門電腦科學、人工智慧以及語言學的交叉學科。雖然語言只是人工智慧的一部分（人工智慧還包括計算機視覺等），但它是非常獨特的一部分。這個星球上有許多生物擁有超過人類的視覺系統，但只有人類才擁有這麼高階的語言。

自然語言處理的目標是讓計算機處理或說 “理解”自然語言，以完成有意義的任務，比如訂機票購物或QA等。完全理解和表達語言是極其困難的，完美的語言理解等效於實現人工智慧。

自然語言處理涉及的幾個層次 ：

作為輸入一共有兩個來源，語音與文字。所以第一級是語音識別和 OCR或分詞（事實上，跳過分詞雖然理所當然地不能做句法分析，但字元級也可以直接做不少應用）。接下來是形態學，援引《統計自然語言處理》中的定義：形態學（morphology）：形態學（又稱“詞彙形態學”或“詞法”）是語言學的一個分支，研究詞的內部結構，包括屈折變化和構詞法兩個部分。由於詞具有語音特徵、句法特徵和語義特徵，形態學處於音位學、句法學和語義學的結合部位，所以形態學是每個語言學家都要關注的一門學科 。

Hanlp自然語言處理開發包：

從事大資料方面工作的人對自然語言處理必然都是不陌生的，在 Github上使用者量最多的開源漢語自然語言處理工具是HanLP。HanLP的初始版本是在2014年初開發的，3月份的時候開始在Github上開源。2015年的時候整合在了大快搜尋的DKNLP中，目前大快已經把DKNLP技術成果已經開源，並且整體裝如HanLP專案，HanLP的版本已經到了V1.50。

Hanlp自然語言處理技術優勢：

支援中文分詞（ N-最短路分詞、CRF分詞、索引分詞、使用者自定義詞調、詞性標註），命名實體識別（中國人民、音譯人民、日本人民，地名，實體機構名識別），關鍵詞提取，自動摘要，短語提取，拼音轉換，簡繁轉換，文字推薦，依存句法分析（MaxEnt依存句法分析、神經網路依存句法分析）。提供Lucene查件，相容Solr和ElasticSearch。

 

Hanlp自然語言處理應用領域：

Hanlp已經被廣泛應用於Lucene、Solr、ElasticSearch、hadoop、android、Resin等平臺，有大量開源作者開發各種查件與擴充，並且被包裝或移植到Python、C#、R、JavaScript等語言上去。