隨著技術和生態的不斷演進、應用場景的不斷探索,機器學習已然不再僅僅停留在實驗室當中。無論是日新月異的網際網路應用,還是求新求變的企業轉型,機器學習都得到了廣泛的應用,逐步成為驅動業務的關鍵技術。
機器學習在近 30 多年已發展為一門多領域交叉學科,也已廣泛應用於資料探勘、計算機視覺、自然語言處理、生物特徵識別、搜尋引擎、醫學診斷、檢測信用卡欺詐、證券市場分析、DNA 序列測序、語音和手寫識別、戰略遊戲和機器人等領域。
為了幫助大家更便捷的解決這些實際問題,讓資料科學家、演算法工程師、業務開發者都能輕鬆駕馭機器學習,AWS 推出了各式各樣的機器學習工具,包括:ML 服務類、API 類、AI 服務工具類等。
今天,我們就對 AWS 的部分優秀機器學習工具做一個整理,分享給各位行業從業者。
一. ML 服務類機器學習工具
1. Amazon SageMaker
Amazon SageMaker 是一項完全託管的服務,可為每位開發人員和資料科學家提供快速構建、訓練和部署機器學習 (ML) 模型的能力。
開發者可以在一個整合的可視介面中編寫程式碼、跟蹤實驗、視覺化資料以及進行除錯和監控。從完整的平臺 IDE,到具體程式碼與 API,SageMaker 都有一種 Pythonic 精神,簡潔易用,同時提供高階的介面。消除了機器學習過程中的每個步驟的繁重工作,讓開發者能夠更輕鬆地開發高質量模型,提高開發人員的工作效率。
2020 年 4 月底,SageMaker 在 AWS 中國的北京區域和寧夏區域上正式開放。就在前不久,在國內開始正式開放。這標誌著 AWS 人工智慧、機器學習平臺服務的關鍵技術已全面進入中國。
工具亮點:
- 這是第一個用於機器學習的完全整合式開發環境 (IDE)
- 單一整合的可視介面操作,大幅提高開發效率
- 可自動構建、訓練和除錯完全可視和可控的模型
- 使用 Amazon SageMaker Ground Truth 將資料標記成本降低多達 70%
- 使用 Amazon Elastic Inference 可將機器學習推理成本降低多達 75% API 類
二. API 類機器學習工具
1. 文字轉語音:Amazon Polly
Amazon Polly 是一項雲服務,可以將文字轉化為逼真的語音。支援多種語言,幷包含各種逼真的聲音,因此你可以構建在多個位置工作的支援語音的應用程式,併為你的客戶使用理想的語音。
此外,Amazon Polly 還包含許多神經文字到語音轉換 (NTTS) 語音,通過新的機器學習方法為語音質量帶來突破性的改進,從而為客戶提供儘可能最自然的文字到語音的似人類的語音。神經 TTS 技術還支援播音員風格,專為新聞播報使用案例量身定製。
Amazon Polly 的常用案例包括移動應用程式(如新聞閱讀器、遊戲、電子學習平臺)、視障人士輔助功能應用程式以及快速增長的物聯網 (IoT) 細分市場。Alexa 語音助手的品牌定製語音服務,就是通過 Amazon Polly 語音合成平臺提供的。
工具亮點:
- 高質量:新的神經 TTS 和一流的標準 TTS 技術,可合成發音精度極高的超自然語音;
- 支援多種語言和語音:支援數十種語音語言,併為大多數語言提供男性和女性語音選項。
- 經濟實惠:Amazon Polly 採用按需付費定價模式,每字元轉換成本低廉,並且支援無限次重放,使企業能夠以經濟高效的方式為應用程式新增語音功能。
2.語音轉文字:Amazon Transcribe
Amazon Transcribe 是一項自動語音識別 (ASR) 服務,讓開發人員能夠輕鬆地為其應用程式新增語音轉文字功能。通過使用 Amazon Transcribe API,可以分析 Amazon S3 中儲存的音訊檔案,並讓該服務返回一個轉錄的語音文字檔案。開發人員還可以將實時音訊流傳送到 Amazon Transcribe,並實時接收轉錄流。
Amazon Transcribe 可用於很多常見應用程式,包括客戶服務通話轉錄,以及基於音訊和視訊內容生成字幕。該服務可以轉錄以常見格式(例如 WAV 和 MP3)儲存的音訊檔案,併為每個詞附加時間戳,以便開發者可以通過搜尋文字輕鬆找到原始源中的音訊。
工具亮點:
- 便於閱讀的轉錄:Amazon Transcribe 採用深度學習功能自動新增標點符號和格式,從而使輸出內容更容易理解,無需進一步編輯即可直接使用。
- 生成時間戳:Amazon Transcribe 會為每個詞返回時間戳,以便可以通過搜尋文字輕鬆找到原始錄音中的音訊。
- 自定義詞彙表:Amazon Transcribe 支援擴充套件和自定義語音識別詞彙表。使用者可以將新詞新增到基本詞彙表中,並生成使用案例特定的高度準確的轉錄,例如產品名稱、域特定術語或個人姓名。
- 識別多個講話者:Amazon Transcribe 能夠識別出講話者的變化,並相應地確定轉錄文字的歸屬。這樣可以顯著減少轉錄具有多個講話者的音訊(例如電話、會議和電視節目)所需的工作量。
3.從文件中提取文字和資料:Amazon Textract
Amazon Textract 是一項從掃描的文件中自動提取文字和資料的服務。Amazon Textract 的功能不只是簡單的光學字元識別 (OCR),它還可以識別表單中欄位的內容和表格中儲存的資訊。
藉助 Textract,開發人員可以快速自動執行文件工作流,數小時可處理數百萬個文件頁面。此外,開發人員還可以建立智慧搜尋索引,構建自動批准工作流,並通過標記可能需要校訂的資料,更好地保持對文件存檔規則的符合性。
結合 Amazon Augmented AI (Amazon A2I) 後,開發人員可以通過內建人工稽核來管理需要人工判斷的細微或敏感工作流,從而取得高確信度的預測或對預測進行持續審計。
工具亮點:
- 快速準確地提取資料:Amazon Textract 可以自動檢測文件的佈局和頁面上的關鍵元素,瞭解任何嵌入式表單或表格中的資料關係,並提取附帶完整上下文的所有內容。
- 無需維護程式碼或模板:藉助 Amazon Textract 預先經過訓練的機器學習模型,無需為資料提取編寫程式碼,不需要為可能收到的每個文件或表單維護程式碼,也不必擔心頁面佈局隨著時間的推移而發生變化。
- 更低的文件處理成本:Amazon Textract 以非常低的成本提供 OCR 和結構化資料提取(表單和表格),你只需按照實際使用量付費,無需預先承諾或長期合同。
三. AI 服務類機器學習工具
1. 程式碼審查工具 —— Amazon CodeGuru
Amazon CodeGuru 是一種機器學習服務,可自動執行程式碼審查,並提供應用程式效能建議。它可以幫助開發人員找到影響應用程式效能的程式碼行,並版主進行問題排查,然後提供修復或改進程式碼的具體建議。
CodeGuru 由機器學習、最佳實踐以及經在開源專案和 Amazon 內部分析數百萬項程式碼審查和數千個應用程式後總結出來的經驗教訓提供支援。
2. 快速構建深度學習應用程式 —— AWS Deep Learning AMI
AWS Deep Learning AMI (DLAMI) 是在雲中進行深度學習的一站式商店,可以為機器學習從業人員和研究人員提供基礎設施和各種工具,從而加快在雲中進行任意規模的深度學習的速度。
通過 DLAMI,開發人員可以快速啟動預先安裝了常見深度學習框架和介面(如 TensorFlow、PyTorch、Apache MXNet、Chainer、Gluon、Horovod 和 Keras)的 Amazon EC2 例項來訓練複雜的自定義 AI 模型、試驗新演算法或學習新技能和技巧。
無論需要 Amazon EC2 GPU 還是 CPU 例項,都無需為 Deep Learning AMI 支付額外費用。只需為儲存和執行應用程式所需的 AWS 資源付費。
AWS Deep Learning AMI 可在專為推理設計的基於 Intel 的 Amazon EC2 C5 例項上執行。AMI 預安裝了 NVIDIA CUDA 和 cuDNN 驅動程式,可以有效縮短完成計算所需的時間。
為了簡化軟體包的管理和部署,AWS Deep Learning AMI 安裝了 Anaconda2 和 Anaconda3 資料科學平臺,可以進行大規模資料處理、預測分析和科學計算。
工欲善其事必先利其器,想要進行機器學習方面的工作研究,配合上優秀的工具一定可以事半功倍。