英特爾AI生態兩大利器，讓AI開發更快更簡單

　　 【IT168 評論】今天，大資料與人工智慧已經非常普及。像Hadoop和Spark這樣的大資料平臺，幾乎已經成為業界最常見的，對大規模資料進行儲存、處理和分析的平臺。但許多組織、企業的資料科學團隊，在面向AI的實際開發過程中，仍然不免要面臨許多系統和平臺層面的挑戰。

　　英特爾在AI領域佈局廣泛，一直致力於提供全棧的技術解決方案，除了面向不同場景的硬體外，也透過不斷完善軟體生態來支撐AI產業發展。在此前舉行的英特爾人工智慧大會上，英特爾軟體和服務事業部高階首席工程師、大資料技術全球CTO戴金權分享了兩大軟體“利器”——BigDL和Analytics Zoo。

　　 幫助使用者構建統一的大資料分析與AI平臺

　　據介紹，BigDL是一個由英特爾開發且開源的，基於Apache Spark的開源分散式深度學習框架，它可以幫助使用者直接在已有的Hadoop/Spark叢集上開發深度學習工作應用，無需特意將資料從大資料叢集上複製到獨立的深度學習叢集上進行訓練。也可在儲存資料的同一個叢集上使用深度學習來進行分析，重用現有的大資料工具(如Spark工作流)構建大規模深度學習應用。

　　Analytics Zoo可以說是BigDL一個擴充，它能夠將不同的軟體框架，如Spark、TensorFlow、Keras等無縫整合到一個端到端的資料處理流水線中，分散式地執行在大規模叢集上，並且對使用者透明，幫助使用者構建統一的大資料分析和AI平臺。

英特爾軟體和服務事業部高階首席工程師、大資料技術全球CTO戴金權

　　戴金權表示：“(藉助BigDL與Analytics Zoo)使用者能夠在現有的大資料叢集和大資料平臺上，在資料儲存的地方直接執行深度學習和AI應用，也能將資料的全生命處理流程——從資料收集、處理、分析，到機器學習、深度學習等，整合到統一的工作流和資料流水線當中，這樣大大提高了開發、運維和部署的效率。”

　　 行業使用者認可，實際應用效果顯著

　　寶信軟體是寶鋼股份控股的上市軟體企業，它的前身是寶鋼的自動化部門。該公司致力於推動新一代資訊科技與製造技術融合發展，幫助製造企業從資訊化、自動化向智慧製造邁進。為推動智慧製造發展，寶信軟體推出了具有自主智慧財產權的大資料平臺軟體xInsight，探索工業大資料如何在實際應用場景中創造價值。

　　寶信軟體研發團隊與英特爾團隊共同合作，利用了Analytics Zoo解決方案建立了無監督的深度學習的系統，開發了裝置故障自動預測的驗證模型。寶信軟體研究開發部總經理董文生表示：“寶信與英特爾目前的合作成果，已經把Analytics Zoo以及BigDL與xInsight大資料平臺做了整合，在我們大資料平臺上可以提供相關的方案。在智慧製造領域，我們還將與英特爾一起合作，進一步探索，提供更多解決方案。”

　　此外，戴金權還分享了更案例。美的集團與英特爾團隊基於Analytics Zoo構建了一個高度最佳化的缺陷檢測解決方案，從而透過計算機視覺自動化地探測流水線上的產品缺陷。利用Analytics Zoo，研發團隊無縫地將Spark、BigDL和TensorFlow程式統一到了一個整合式的流水線中。

　　世界銀行採用了英特爾的Analytics Zoo以及AWS Databricks平臺構建影像分類模型，Analytics Zoo將複雜的資料處理分析和模型訓練的流水線單一化，幫助研發團隊輕鬆訓練由69類、近百萬張圖片組成的資料集，實現了高準確性，部分資料集還可實現近乎線性的擴充套件。

　　超級計算公司CRAY與英特爾團隊共同合作，成功為他們的TB級訓練資料構建了短期降水預測模型，同時確保了極佳的可擴充套件性。藉助Analytics Zoo中基於Apache Spark的可擴充套件深度學習功能，資料科學家輕鬆構建了複雜的工作流，充分利用了CRAY的超級計算機。

　　 最後

　　如今的深度學習和AI領域，優秀的演算法和框架數不勝數，用於訓練的資料也常常能夠達到要求。但隨著應用場景的增多，AI應用的開發也越來越難，專案流程越來越複雜。英特爾推出的BigDL和Analytics Zoo，在一定程度上很好地填補了在AI開發流程最佳化以及效率提升方面的空白，能夠幫助開發人員將更多精力集中在模型的最佳化上，推動應用落地。