自然語言處理的最佳實踐

近年來，自然語言處理（NLP）在質量和可用性方面快速增長，這有助於推動人工智慧解決方案的實際落地。在過去的幾年裡，研究人員一直在將新的深度學習方法應用於 NLP。資料科學家開始從傳統的方法轉向最先進的（SOTA）深度神經網路（DNN）演算法，這種演算法使用的語言模型經過了大文字語料庫的預訓練。

此儲存庫包含構建 NLP 系統的示例和最佳實踐，在 jupyter notebook 和實用程式函式中提供。知識庫的重點是最先進的方法和常見的場景，這些方法和場景在研究文字和語言問題的研究人員和實踐者中很流行。

概述

該知識庫的目標是利用 NLP 演算法、神經架構和分散式機器學習系統的最新進展構建一套綜合的工具和示例。其內容是基於我們過去和未來與客戶的接觸，以及與合作伙伴、研究人員和開源社群的合作。

我們希望這些工具能夠透過簡化從定義業務問題到開發解決方案的經驗，顯著減少「上市時間」。此外，示例 notebook 將作為指導方針，以各種語言展示工具的最佳實踐和用法。

在一個遷移學習、transformer 和深度架構的時代，我們相信預訓練模型為許多現實問題提供了統一的解決方案，並允許輕鬆處理不同的任務和語言。因此，我們將優先考慮這些模型，因為它們在幾個 NLP 基準上取得了最先進的結果。這些模型可用於多種應用，從簡單的文字分類到複雜的智慧聊天機器人。

內容

下面是儲存庫中介紹的常用 NLP 場景的摘要。每個場景都在一個或多個使用模型和儲存庫實用程式核心程式碼庫的 jupyter notebook 示例中演示。

在解決 NLP 問題時，從預構建的認知開始總是好的。當需求超出預構建認知的範圍時，當你想要搜尋自定義機器學習方法時，你會發現此儲存庫非常有用。要開始使用，請導航到 ，其中列出了有關如何設定環境和依賴關係的說明。

馬上行動吧~

via：