什麼是NLP,NLP主要有什麼用,為什麼要學自然語言處理?

人工智慧愛好者發表於2019-04-03

簡單來說:NLP的目的是讓機器能夠理解人類的語言,是人和機器進行交流的技術。它應用在我們生活中,像:智慧問答、機器翻譯、文字分類、文字摘要,這項技術在慢慢影響我們的生活。

NLP的發展歷史非常之久,計算機發明之後,就有以機器翻譯為開端做早期的NLP嘗試,但早期做得不是很成功。直到上個世紀八十年代,大部分自然語言處理系統還是基於人工規則的方式,使用規則引擎或者規則系統來做問答、翻譯等功能。

第一次突破是上個世紀九十年代,有了統計機器學習的技術,並且建設了很多優質的語料庫之後,統計模型使NLP技術有了較大的革新。接下來的發展基本還是基於這樣傳統的機器學習的技術,從2006年深度學習開始,包括現在影象上取得非常成功的進步之後,已經對NLP領域領域影響非常大。

當年上小學時有一本書叫《字詞句篇與達標訓練》,裡面講了字、詞、句、篇,我們開始學寫字,詞是最基礎的一級,中文的一個字比英文的一個字母的語義要豐富的多,但表義能力仍然較差。所以中文一般的處理情況都是按照詞級別,詞級別的分析就有了中文分詞、有了命名實體識別這樣的層次來做底層處理。

在這個底層處理之上是段落級別,是一句話、一段話、短的文字,對這個級別文字做法又對應了相關的技術,包括:依存文法分析、詞位置分析、語義歸一化、文字糾錯等等功能。但是這個功能也是為它更上級的服務去服務的,達觀稱之為“篇章”級的應用。

大部分同學平時做比賽、做專案關注的點最多是在“篇章”級的應用,底下這些中文分詞等都已經有很好的工具了,不用再從頭到尾去開發,只要關心上層的應用,把底下的工具用好,讓它產生需要的Feature,來做分類、主題模型、文章建模,這種比較高層次的應用。

所以,要做好NLP,包括我們公司在內,這三個級別的技術都是自己掌握的。但是如果個人學習使用是有權衡的。某個同學的某一個技術特別好也是OK的,因為現在開源工具,甚至商用工具有很好的效果。如果不要求精度特別高或者有特殊的要求,用這些工具一般是可以達到你的要求。

每個層次的技術都是完全不同的,而且層次間的技術是有聯絡,一般的聯絡是底層是為上層服務。
人工智慧、大資料、雲端計算和物聯網的未來發展值得重視,均為前沿產業,多智時代專注於人工智慧和大資料的入門和科譜,在此為你推薦幾篇優質好文:
如何快速入門NLP自然語言處理概述
http://www.duozhishidai.com/article-11742-1.html
改變世界的七大NLP技術,你瞭解多少?
http://www.duozhishidai.com/article-8918-1.html
達觀資料:想用好自然語言處理技術,要先克服這些困難
http://www.duozhishidai.com/article-5348-1.html
人工智慧與自然語言處理概述:AI三大階段、NLP關鍵應用領域
http://www.duozhishidai.com/article-3382-1.html
從語言學到深度學習NLP,一文概述自然語言處理
http://www.duozhishidai.com/article-1120-1.html


多智時代-人工智慧大資料學習入門網站|人工智慧、大資料、物聯網雲端計算的學習交流網站

多智時代-人工智慧大資料學習入門網站|人工智慧、大資料、雲端計算、物聯網的學習服務的好平臺

相關文章