【機器學習】在生產環境使用Kafka構建和部署大規模機器學習

產業智慧官發表於2018-03-04
機器學習Kafka

使用Apache Kafka在生產環境構建大規模機器學習

智慧實時應用為所有行業帶來了革命性變化。機器學習及其分支深度學習正蓬勃發展，因為機器學習讓計算機能夠在無人指引的情況下挖掘深藏的洞見。這種能力正是多種領域所需要的，如非結構化資料分析、影像識別、語音識別和智慧決策，這完全不同於傳統的程式設計方式（如Java、.NET或Python）。

機器學習並非新生事物，大資料集的出現和處理能力的進步讓每一個企業都具備了構建分析模型的能力。各行各業都在將分析模型應用在企業應用和微服務上，用以增長利潤、降低成本，或者改善使用者體驗。

這篇文章將介紹機器學習在任務關鍵型實時系統中的應用，將Apache Kafka作為中心化的、可伸縮的任務關鍵型系統，同時還將介紹使用Kafka Streams API來構建智慧流式應用。

可伸縮的任務關鍵型實時系統

網際網路、智慧手機和持續線上思維的出現改變了人們的行為方式。其中就包括人們對與裝置、產品和服務互動方式的期待：人們希望能夠實時地獲得資訊。這也給企業帶來了巨大挑戰：如何快速地採取行動才能把握先機。批處理系統已經無法滿足需求，取而代之的應該是實時系統。

傳統企業可以實現非常強大的實時處理機制來滿足日常的業務需求。這通常需要藉助領域知識來理解各種應用場景，並構建新的流式分析模型來增加業務價值。流式處理已經存在於各個行業中。

  • 欺詐檢測。將支付資訊與歷史資料或已知的模式關聯起來，在欺詐發生之前將其檢測出來。這對處理速度提出了很高的要求，因為你必須在交易發生之前將其取消掉。

  • 交叉銷售。利用客戶資料為客戶提供定製化的銷售方案或折扣，爭取讓客戶在離開商店之前成交訂單。這種情況下，你需要利用實時資料（比如位置資料、支付資料）和歷史資料（來自你的CRM系統或Loyalty平臺）為每個客戶提供最合適的銷售方案。

  • 預測性維護。使用機器資料來預測機器故障，在發生故障之前將舊的部件更換掉。從實際情況來看，這可以節省大量的金錢（製造）、增加利潤（自動售賣機）或提升使用者體驗（電信網路故障預測）。

所有這些場景都有一個共同點，那就是在資料產生的同時處理資料。你必須儘快地處理已經發生的事件，是主動處理，而不是被動處理。你的系統需要在欺詐發生之前，或在顧客離開商店之前，或在機器發生故障之前做出決策。

當然，這並不是說一定要求毫秒級別的響應時間。在某些情況下，即使是批處理也是沒有問題的。比如，大部分製造行業或物聯網場景中，預測性維護可以允許幾個小時甚至幾天的時間間隔，更換部件可以在當天或當週內完成。這樣可以節省大量的金錢，因為你可以在問題發生之前檢測出它們，避免造成更大範圍的損失。

在智慧實時系統中應用機器學習

任務關鍵型實時應用系統在不使用機器學習的情況下已經存在多年，那為什麼說機器學習將給這一領域帶來革命性的變化？

如果你讀過有關機器學習及其分支深度學習的資料，你經常會看到如下的一些場景。

  • 影像識別。上傳一張圖片到Facebook上，影像中的物體——比如你的朋友、背景或你手中的啤酒——就會被分析出來。

  • 語音翻譯。機器人因此可以通過生成的文字或聲音與人類進行互動。

  • 仿人類行為。IBM Watson擊敗了最強大的Jeopardy選手；Google的AlphaGo戰勝了最專業的Go選手。

上述的例子與那些想要構建創新型應用系統並從競爭當中脫穎而出的企業有著越來越緊密的聯絡。類似的，我們可以將機器學習應用在“傳統場景”裡，比如欺詐檢測、交叉銷售或預測性維護，以此來增強業務流程，基於資料驅動做出更好的決策。已有的業務流程可以保持原樣，你只需要將業務邏輯和規則替換成分析模型來改進自動化決策即可。

下面將介紹如何將Kafka作為流式平臺來構建、運營和監控大規模、任務關鍵型的分析模型。

機器學習——分析模型的開發生命週期

先讓我們瞭解一下分析模型的開發生命週期：

  1. 構建：使用機器學習演算法（如GLM、Naive Bayes、Random Forest、Gradient Boosting、Neural Networks等）分析歷史資料，挖掘洞見。在這一步需要進行資料的收集、準備和轉換。

  2. 驗證：使用一些驗證技術（如交叉驗證）再次確認分析模型能夠處理新的輸入資料。

  3. 運營：將分析模型部署到生產環境。

  4. 監控：觀察分析模型的輸出。這裡包含了兩部分內容：在達到某個閾值時傳送告警（業務層面的監控）；保持結果的準確性和度量指標的質量（分析模型的監控）。

  5. 持續迴圈：重複上述步驟來改進分析模型，可以通過手動批次的方式來完成，也可以線上完成，在新事件達到時更新模型。

整個團隊在一開始就要在一起工作，並考慮如下問題：

  • 它需要在生產環境有怎樣的表現？

  • 生產環境系統支援哪些技術？

  • 如何監控模型的推理和效能？

  • 是構建一個完整的機器學習基礎設施還是使用已有的框架來分離模型訓練和模型推理？

例如，一個資料科學家開發出一個Python程式，建立了一個精確度非常高的模型，但如果你無法將它部署到生產環境（因為它無法伸縮也無法表現得如預期一樣），它就毫無用處。這個時候，或許你已經可以意識到為什麼Apache Kafka如此適合用在生產環境的分析模型上。下面的章節將介紹使用Apache Kafka作為流式平臺以及結合機器學習或深度學習框架來構建、運營和監控分析模型。

機器學習和Apache Kafka架構參考

在瞭解了機器學習開發生命週期之後，接下來我們來看一個用於構建、營運和監控分析模型的架構參考：

【機器學習】在生產環境使用Kafka構建和部署大規模機器學習

該架構的核心之處在於它使用Kafka作為各種資料來源、模型構建環境以及生產環境應用程式之間的媒介。

用於構建模型的特徵資料從各個應用程式和資料庫流入Kafka。模型構建環境可以是一個資料倉儲、一個大資料環境（如Spark或Hadoop）或者一個執行Python指令碼的伺服器。模型可以被部署在某個地方，只要生產環境的應用程式能夠訪問到它們，並把它們應用在輸入樣本資料上。生產環境的應用程式可以從Kafka資料管道接收資料，或者使用Kafka Streams API。

Kafka成為整個系統的中樞神經，這也帶來了如下好處：

  • 資料管道變得更簡單的了。

  • 分析模型的構建和服務之間不再耦合。

  • 根據具體情況使用實時模式或批處理模式。

  • 分析模型可以被部署到高效能、可伸縮的任務關鍵型環境裡。

除了Kafka本身，還可以加入Kafka生態系統的其他開源元件，如Kafka Connect、Kafka Streams、Confluent REST Proxy、Confluent Schema Registry或者KSQL，而不僅僅是使用Kafka Producer和Consumer API。

【機器學習】在生產環境使用Kafka構建和部署大規模機器學習

下面兩個章節將介紹如何使用Kafka Steams API來部署分析模型。

機器學習開發生命週期示例

現在我們來深入瞭解一個圍繞Kafka構建的機器學習架構示例：

（點選放大影像）

【機器學習】在生產環境使用Kafka構建和部署大規模機器學習

在綠色區域，我們可以看到用於構建和驗證分析模型的元件。在橙色區域，我們可以看到流式平臺，分析模型就部署在該平臺上，用於對新事件做出推理以及執行監控。

資料生產者持續地傳送事件，分析平臺以批次或實時的方式接收這些資料，然後使用機器學習演算法來構建分析模型。分析模型被部署在流式平臺上，流式平臺將分析模型應用在事件上，從而推理出結果（也就是預測），最後結果被髮送給資料消費者。

在這個例子裡，我們將模型訓練和模型推理分離開，這在當今的大部分機器學習專案中是很常見的做法。

模型訓練

資料經由Kafka集中到Hadoop叢集上，進而使用H2O.ai分析這些歷史資料，構建出神經網路。資料科學家可以使用各種介面來完成這項工作——R語言、Python、Scala、Web UI Notebook等。模型的構建和驗證就發生在Hadoop叢集上，最後得到一個Java位元組碼形式的分析模型，接下來就可以將它們部署到生產環境。

模型推理

神經網路被部署到Kafka Streams應用程式裡。Streams應用程式可以執行在任何地方，它可以作為單獨的Java程式執行，也可以執行在Docker容器裡或Kubernetes叢集上。模型被實時地應用在每一個新生成的事件上。Kafka Streams藉助Kafka叢集為我們提供了可伸縮、任務關鍵型的分析模型操作以及高效能的模型推理。

線上模型訓練

除了分離模型訓練和模型推理，我們也可以為線上模型訓練構建一個完整的基礎設施。很多巨頭科技公司（比如LinkedIn）在過去就將Apache Kafka作為模型的輸入、訓練、推理和輸出的基礎。當然，這種做法存在一些權衡。大部分傳統的公司會使用第一種方案，它可以滿足現今大部分的使用場景。

模型監控和告警

將分析模型部署到生產環境只是第一步，對模型的準確性、分數、SLA和其他度量指標進行監控並自動實時地發出告警也同樣重要。度量指標可以通過Kafka反饋給機器學習工具，用於改進模型。

使用H2O.ai開發分析模型

以下是使用H2O來構建分析模型的例子。H2O是一個開源的機器學習框架，它在內部使用了其他框架，如Apache Spark或TensorFlow。資料科學家可以在上面使用他們喜歡的程式語言，如R語言、Python或Scala。H2O引擎會生成Java位元組碼，可以很方便地通過Streams進行伸縮。

下面是使用H2O.ai Flow（Web UI或Notebook）和R語言構建分析模型的截圖：

（點選放大影像）

【機器學習】在生產環境使用Kafka構建和部署大規模機器學習

【機器學習】在生產環境使用Kafka構建和部署大規模機器學習

輸出的是一個位元組碼形式的分析模型，它可以直接部署到任務關鍵型的生產環境裡。因此，我們就不再需要花時間去考慮如何將Python或R生成的模型“移植”到基於Java平臺的生產系統裡。

這個例子使用H2O來產生Java位元組碼，當然，你也可以使用其他框架（如TensorFlow、Apache MXNet或DeepLearning4J）完成類似的工作。

使用Kafka Steams API部署分析模型

使用Kafka Streams來部署分析模型非常簡單，只要將模型新增到基於Streams構建的應用程式裡就可以了，然後將其應用在新生成的事件上。

（點選放大影像）

【機器學習】在生產環境使用Kafka構建和部署大規模機器學習

因為Kafka Streams應用程式實際上用到了Kafka的特性，所以已經具備了伸縮性和任務關鍵型用途，不需要對模型做出任何調整。

例子的程式碼可以在GitHub上找到：https://github.com/kaiwaehner/ kafka-streams-machine-learning-examples。拉取專案程式碼，執行maven構建命令，就可以看到H2O模型是如何與Kafka Streams應用整合在一起的。後續我們會不斷擴充這個例子，加入更多複雜的應用場景，不僅使用H2O，還會加入TensorFlow和DeepLearning4J。

藉助一些CI/CD工具，如Maven、Gradle、Chef、Puppet、Jenkins，機器學習與流式處理相結合的方式可以很容易地被整合到自動化持續整合工作流當中。

使用開放標準在訓練和推理之間共享分析模型

以下是其他一些用於在資料科學家之間共享和更新模型以及DevOps團隊部署模型的方式。

  • 原生模型（Native Model）：直接將模型部署到流式處理引擎裡，比如通過JNI將Python模型部署到Java應用程式裡

  • 位元組碼生成（Generated Code）：不管使用哪一種程式語言來構建模型，都可以通過生成二進位制庫或原始碼的方式將它們部署到流式處理應用裡。它們經過優化，可以獲得更好的效能。例如，資料科學家使用R語言或Python訓練的模型可以轉成Java位元組碼的形式。

  • 外部伺服器（External Server）：以請求和響應的方式呼叫外部的分析伺服器。外部呼叫可以通過SAS、MATLAB、KNIME或H2O這類分析工具來完成，它們一般會提供REST介面。

  • PMML（預測模型標記語言）：這是一種比較古老的XML標準，儘管還存在一些侷限和不足，一些分析工具仍然在支援它。

  • PFA（可移植分析格式）：一種新標準，可以為模型提供預處理，利用了JSON、Apache Avro，並支援Hadrian。不過大部分分析工具並沒有為它提供開箱即用的支援。

以上這些方案之間存在權衡的關係。例如，PFA帶來了獨立性和可移植性，但同時也存在一些限制。從Kafka角度來看，如果要部署大規模的任務關鍵型系統，使用Java位元組碼生成的方式會更加合適，因為這種方式具有更高的效能、更容易伸縮，並且更容易嵌入到Kafka Streams應用中。同時，在進行模型預測時，它免去了與外部REST伺服器互動的成本。

結論

機器學習為行業帶來了價值，Kafka迅速成為很多企業的中樞神經系統。我們可以藉助Kafka來：

  • 進行實時的模型推理

  • 監控和告警

  • 線上訓練模型

  • 將資料攝取到批次層或分析叢集上進行分析模型的訓練



福布斯重磅預測：機器學習之火愈燒愈烈，開發者甩開膀子幹！

 來源： AI前線 Louis Columbus  


【機器學習】在生產環境使用Kafka構建和部署大規模機器學習

作者｜Louis Columbus
譯者｜Sambodhi
編輯｜Debra，Emily



  • 2013 年到 2017 年，機器學習專利的複合年增長率（Compound Annual Growth Rate，CAGR) 為 34%，是所有授予專利的第三大增長類別。


  • International Data Corporation（IDC）預測，人工智慧和機器學習的支出將從 2017 年的 12 億美元增長至 2021 年的 57.6 億美元。


  • Deloitte Global 預測，與 2017 年相比，2018 年機器學習試點和實施的數量將翻一番，到 2020 年再翻一番。

這些有趣的見解來自 Forbes 最新的機器學習市場預測、市場估計和預測的最新系列。機器學習對全球許多最重要的資料產業的潛在影響，繼續推動風險投資、私募股權（PE）融資、併購和收購，這些都集中在贏得這一領域智慧財產權（IP）和專利的競賽。

機器學習 IP 發展最快的領域之一是定製晶片組的研發。Deloitte Global 預測今年全球資料中心將使用高達 80 萬塊機器學習晶片。企業將在 2018 年加大對機器學習專案的研究、投資和試點。儘管這些方法在各種預測、市場估計和預測方面有所不同，但都反映了機器學習如何提高企業的敏銳度和洞察力，使它們能夠更快、更有利地增長。

從機器學習市場預測、市場估計和預測的收集中得出的關鍵結論如下：

  • 在商業智慧（BI）和分析市場中，支援機器學習的資料科學平臺預計到 2021 年將以 13% 的複合年增長率增長。 資料科學平臺的表現將超過更廣泛的商業智慧和分析市場，該市場預計在同一時期將以 8% 的複合年增長率增長。資料科學平臺的價值將從 2017 年的 3 億美元增長到 2021 年的 4.8 億美元。

資料來源：An Investors' Guide to Artificial Intelligence，J.P. Morgan 著，2017 年 11 月 27 日。(110 pp., PDF, no opt-in).

https://flamingo.ai/wp-content/uploads/2017/11/JPMorganAnInvestorsGuideToArtificialIntelligencev2.pdf

【機器學習】在生產環境使用Kafka構建和部署大規模機器學習


  • 2013 年至 2017 年，機器學習專利的複合年增長率為 34%，是所有授予專利的第三大增長類別。 IBM、Microsoft、Google、LinkedIn、Facebook、Intel 以及 Fujitsu 是 2017 年最大的七家機器學習專利生產商。


   資料來源：IFI Claims Patent Services (Patent Analytics)：8 Fastest Grow       ing Technologies SlideShare Presentation


 https://www.ificlaims.com/rankings-8-fast-growing.htm

【機器學習】在生產環境使用Kafka構建和部署大規模機器學習

  • 61% 的機構最經常選擇機器學習 / 人工智慧作為公司明年最重要的資料計劃。 在這些表示積極使用機器學習和人工智慧的受訪機構中，58% 的受訪者表示他們在生產中使用了模型。

資料來源：2018 Outlook: Machine Learning and Artificial Intelligence, A Survey of 1,600+ Data Professionals (14 pp., PDF, no opt-in).

http://blog.memsql.com/2018-outlook-machine-learning-and-artificial-intelligence/

【機器學習】在生產環境使用Kafka構建和部署大規模機器學習


  • 包括 Amazon、Apple、Google、Tesla 和 Microsoft 在內的科技市場領軍企業，在機器學習和人工智慧投資領域處於領先地位。 每家企業都將機器學習設計成未來新一代的產品，並使用機器學習和人工智慧來改善客戶體驗並提高銷售渠道的效率。

資料來源：Will You Embrace AI Fast Enough? AT Kearney 著，2018 年 1 月。

https://www.atkearney.com/operations-performance-transformation/article?/a/will-you-embrace-ai-fast-enough

【機器學習】在生產環境使用Kafka構建和部署大規模機器學習


  • 根據 Forrester 在 2017 年對 23 家企業應用的 14 項評估標準，SAS、IBM 和 SAP 在預測分析和機器學習市場佔領先地位。 Forrester 預測，預測分析和機器學習（Predictive Analytics & Machine Learning ，PAML）市場將在 2021 年以 21% 的複合年增長率增長，這點體現在客戶諮詢和客戶採購活動的增加。

資料來源：Data Science Association, Predictive Analytics & Machine Learning Vendors, 2017 and The Forrester Wave™: Predictive Analytics And Machine Learning Solutions, Q1 2017 courtesy of SAP.

http://www.datascienceassn.org/content/predictive-analytics-machine-learning-vendors-2017

https://assets.cdn.sap.com/sapcom/docs/2017/03/6cd842e0-ac7c-0010-82c7-eda71af511fa.pdf

【機器學習】在生產環境使用Kafka構建和部署大規模機器學習


  • Deloitte Global 預測，與 2017 年相比，2018 年的機器學習試點和實施的數量將翻一番。 推動機器學習試驗人員發展步伐的因素，包括對應用程式介面（Application Program Interfaces，API）的更為廣泛的部署、資料科學任務的自動化、減少訓練資料的需求、加速訓練以及更深入的解釋結果。

資料來源： Deloitte Global Predictions 2018 Infographics.

https://www2.deloitte.com/global/en/pages/technology-media-and-telecommunications/articles/tmt-predictions.html

【機器學習】在生產環境使用Kafka構建和部署大規模機器學習


  • 60% 處於採用機器學習不同階段的機構中，其中有近一半（45%）認為，這門技術已經引起了更為廣泛的資料分析和預測。 35% 的受訪者還發現，機器學習正在增強其下一代產品的研發能力。

資料來源： Google & MIT Technology Review study: Machine Learning: The New Proving Ground for Competitive Advantage (10 pp., PDF, no opt-in)

https://s3.amazonaws.com/files.technologyreview.com/whitepapers/MITTR_GoogleforWork_Survey.pdf

【機器學習】在生產環境使用Kafka構建和部署大規模機器學習


  • Mckinsey 估計，2016 年人工智慧的年度外部投資總額在 8 億~12 億美元之間，機器學習吸引了近 60% 的投資。 機器人和語音識別是兩個最受歡迎的投資領域。由於基於程式碼的創業可以快速擴充套件從而包含新功能，因此投資者最青睞機器學習初創公司。基於軟體的機器學習初創公司比那些成本更高、基於機器的機器人技術同行公司更受青睞，而後者通常沒有所對應的軟體機構。由於這些因素，這一領域中企業併購活動激增。下圖顯示了研究中按類別劃分的外部投資分佈情況。

資料來源：McKinsey Global Institute Study, Artificial Intelligence, The Next Digital Frontier (80 pp., PDF, free, no opt-in).

https://www.mckinsey.com/mgi/overview

http://www.mckinsey.com/~/media/McKinsey/Industries/Advanced%20Electronics/Our%20Insights/How%20artificial%20intelligence%20can%20deliver%20real%20value%20to%20companies/MGI-Artificial-Intelligence-Discussion-paper.ashx

【機器學習】在生產環境使用Kafka構建和部署大規模機器學習


  • Deloitte Global 預測，資料中心使用的機器學習晶片將從 2016 年的 10~20 萬塊增長至今年的 80 萬塊。 其中至少 25% 是現場可程式設計門陣列（Field Programmable Gate Arrays，FPGA）和專用積體電路（Application Specific Integrated Circuits，ASIC）。Deloitte 發現，到 2020 年，機器學習加速技術的總可用市場（Total Available Market ，TAM）有望達到 26 億美元。

資料來源： Deloitte Global Predictions 2018.

https://www2.deloitte.com/global/en/pages/technology-media-and-telecommunications/articles/tmt-predictions.html

【機器學習】在生產環境使用Kafka構建和部署大規模機器學習


  • Amazon 依靠機器學習來提高客戶在其關鍵業務領域的體驗，包括產品推薦、替代產品預測、欺詐檢測、後設資料驗證和知識獲取。 如欲瞭解更多詳情，請參閱 Amazon Web Services 釋出的 Machine Learning At Amazon(47 pp., PDF no opt-in).

http://www.wsdm-conference.org/2017/wp-content/uploads/2017/02/Machine-Learning-@-Amazon.pdf

【機器學習】在生產環境使用Kafka構建和部署大規模機器學習


  • International Data Corporation (IDC) 預測，人工智慧和機器學習的支出將從 2017 年的 12 億美元增長到 2021 年的 57.6 億美元。

資料來源：Machine learning: things are getting intense. Deloitte (6 pp., PDF. No opt-in)

https://www2.deloitte.com/content/dam/Deloitte/global/Images/infographics/technologymediatelecommunications/gx-deloitte-tmt-2018-intense-machine-learning-report.pdf


  • 預計到 2022 年，全球機器學習市場將從 2017 年 1.41 億美元增長到 8.81 億美元，達到 44.1% 的複合年增長率。 促進市場全球快速增長的因素包括在資料聚合、整合和分析以及更具可擴充套件性的雲平臺上表現出色的新技術。

資料來源： Machine Learning Market - Global Forecast to 2022 - Market Overview & Industry Trends.

https://www.prnewswire.com/news-releases/machine-learning-market---global-forecast-to-2022---market-overview--industry-trends-300531729.html


  • 全球認知和人工智慧系統的收入將從 2017 年的 12.5 億美元增長至 2020 年的逾 46 億美元。

資料來源：Worldwide Spending on Cognitive and Artificial Intelligence Systems Forecast to Reach $12.5 Billion This Year, According to New IDC Spending Guide.

https://www.idc.com/getdoc.jsp?containerId=prUS42439617

  • 機器學習市場資料來源：

2018 Outlook: Machine Learning and Artificial Intelligence, A Survey of 1,600+ Data Professionals. MEMSQL. (14 pp., PDF, no opt-in)

http://blog.memsql.com/2018-outlook-machine-learning-and-artificial-intelligence/

Advice for applying Machine Learning, Andrew Ng, Stanford University. (30 pp., PDF, no opt-in) >

http://cs229.stanford.edu/materials/ML-advice.pdf

An Executive’s Guide to Machine Learning, McKinsey Quarterly. June 2015

https://www.mckinsey.com/industries/high-tech/our-insights/an-executives-guide-to-machine-learning

An Investors' Guide to Artificial Intelligence, J.P. Morgan. November 27, 2017 (110 pp., PDF, no opt-in)

https://flamingo.ai/wp-content/uploads/2017/11/JPMorganAnInvestorsGuideToArtificialIntelligencev2.pdf

Artificial intelligence and machine learning in financial services Market developments and financial stability implications, Financial Stability Board. (45 pp., PDF, no opt-in)

http://www.fsb.org/wp-content/uploads/P011117.pdf

Big Data and AI Strategies Machine Learning and Alternative Data Approach to Investing, J.P. Morgan. (280 pp., PDF. No opt-in).

http://valuesimplex.com/articles/JPM.pdf

Google & MIT Technology Review study: Machine Learning: The New Proving Ground for Competitive Advantage (10 pp., PDF, no opt-in).

https://s3.amazonaws.com/files.technologyreview.com/whitepapers/MITTR_GoogleforWork_Survey.pdf

Hitting the accelerator: the next generation of machine-learning chips, Deloitte. (6 pp., PDF, no opt-in).

https://www2.deloitte.com/content/dam/Deloitte/global/Images/infographics/technologymediatelecommunications/gx-deloitte-tmt-2018-nextgen-machine-learning-report.pdf

How Do Machines Learn? Algorithms are the Key to Machine Learning. Booz Allen Hamilton. (Infographic)

https://www.boozallen.com/s/insight/blog/how-do-machines-learn.html

IBM Predicts Demand For Data Scientists Will Soar 28% By 2020, Forbes. May 13, 2017

https://www.forbes.com/sites/louiscolumbus/2017/05/13/ibm-predicts-demand-for-data-scientists-will-soar-28-by-2020/?utm_content=buffer91f1f&utm_medium=social&utm_source=twitter.com&utm_campaign=buffer#18f2160c7e3b

Machine Learning At Amazon, Amazon Web Services (47 pp., PDF no opt-in).

http://www.wsdm-conference.org/2017/wp-content/uploads/2017/02/Machine-Learning-@-Amazon.pdf

Machine Learning Evolution (infographic). PwC. April 17, 2017

http://usblogs.pwc.com/emerging-technology/machine-learning-evolution-infographic/

Machine learning: things are getting intense. Deloitte (6 pp., PDF. No opt-in)

https://www2.deloitte.com/content/dam/Deloitte/global/Images/infographics/technologymediatelecommunications/gx-deloitte-tmt-2018-intense-machine-learning-report.pdf

Machine Learning: The Power and Promise Of Computers That Learn By Example. The Royal Society’s Machine Learning Project (128 pp., PDF, no opt-in)

https://royalsociety.org/~/media/policy/projects/machine-learning/publications/machine-learning-report.pdf

McKinsey Global Institute Study, Artificial Intelligence, The Next Digital Frontier (80 pp., PDF, free, no opt-in).

https://www.mckinsey.com/mgi/overview

McKinsey's State Of Machine Learning And AI, 2017, Forbes, July 9, 2017.

https://www.forbes.com/sites/louiscolumbus/2017/07/09/mckinseys-state-of-machine-learning-and-ai-2017/#5118a2575b64

Predictions 2017: Artificial Intelligence Will Drive The Insights Revolution. Forrester, November 2, 2016 (9 pp., PDF, no opt-in).

https://go.forrester.com/wp-content/uploads/Forrester_Predictions_2017_-Artificial_Intelligence_Will_Drive_The_Insights_Revolution.pdf

Risks And Rewards: Scenarios around the economic impact of machine learning, The Economist Intelligence Unit. (80 pp., PDF, no opt-in).

http://eiuperspectives.economist.com/sites/default/files/Risks_and_rewards_2018.2.7.pdf

Smartening up with Artificial Intelligence (AI) - What’s in it for Germany and its Industrial Sector? Digital/McKinsey & Company. (52 pp., PDF, no opt-in).

https://www.mckinsey.de/files/170419_mckinsey_ki_final_m.pdf

So What Is Machine Learning Anyway? Business Insider. Nov. 23, 2017

http://www.businessinsider.com/what-is-machine-learning-quick-explainer-2017-11

The 10 Most Innovative Companies In AI/Machine Learning 2017, Wired.

https://www.fastcompany.com/3069025/the-10-most-innovative-companies-in-ai-machine-learning-2017

The Business Impact and Use Cases for Artificial Intelligence. Gartner (28 pp., PDF, no opt-in).

https://www.gartnerinfo.com/apacemergingtechtaipei/TheBusinessImpactandUseCasesforAI_TracyTsai.pdf

The Build-Or-Buy Dilemma In AI, Boston Consulting Group. January 4, 2018.

https://www.bcg.com/publications/2018/build-buy-dilemma-artificial-intelligence.aspx?linkId=47806407

The Next Generation of Medicine: Artificial Intelligence and Machine Learning, TM Capital (25 pp., PDF, free, opt-in).

https://www.tmcapital.com/wp-content/uploads/2017/11/TMCC20AI20Spotlight20-202017.10.2420vF.PDF

The Roadmap to Enterprise AI, Rage Networks Brief based on Gartner research. (17 pp., PDF, no opt-in).

https://www.gartner.com/imagesrv/media-products/pdf/rage_frameworks/rage-frameworks-1-34JHQ0K.pdf

Will You Embrace AI Fast Enough? AT Kearney. January 2018

https://www.atkearney.com/operations-performance-transformation/article?/a/will-you-embrace-ai-fast-enough


【機器學習】在生產環境使用Kafka構建和部署大規模機器學習


人工智慧賽博物理作業系統

AI-CPS OS

“人工智慧賽博物理作業系統”（新一代技術+商業作業系統“AI-CPS OS”：雲端計算+大資料+物聯網+區塊鏈+人工智慧）分支用來的今天，企業領導者必須瞭解如何將“技術”全面滲入整個公司、產品等“商業”場景中，利用AI-CPS OS形成數字化+智慧化力量，實現行業的重新佈局、企業的重新構建和自我的煥然新生。


AI-CPS OS的真正價值並不來自構成技術或功能，而是要以一種傳遞獨特競爭優勢的方式將自動化+資訊化、智造+產品+服務和資料+分析一體化，這種整合方式能夠釋放新的業務和運營模式。如果不能實現跨功能的更大規模融合，沒有顛覆現狀的意願，這些將不可能實現。


領導者無法依靠某種單一戰略方法來應對多維度的數字化變革。面對新一代技術+商業作業系統AI-CPS OS顛覆性的數字化+智慧化力量，領導者必須在行業、企業與個人這三個層面都保持領先地位：

  1. 重新行業佈局：你的世界觀要怎樣改變才算足夠？你必須對行業典範進行怎樣的反思？

  2. 重新構建企業：你的企業需要做出什麼樣的變化？你準備如何重新定義你的公司？

  3. 重新打造自己：你需要成為怎樣的人？要重塑自己並在數字化+智慧化時代保有領先地位，你必須如何去做？

AI-CPS OS是數字化智慧化創新平臺，設計思路是將大資料、物聯網、區塊鏈和人工智慧等無縫整合在雲端，可以幫助企業將創新成果融入自身業務體系，實現各個前沿技術在雲端的優勢協同。AI-CPS OS形成的數字化+智慧化力量與行業、企業及個人三個層面的交叉，形成了領導力模式，使數字化融入到領導者所在企業與領導方式的核心位置：

  1. 精細：這種力量能夠使人在更加真實、細緻的層面觀察與感知現實世界和數字化世界正在發生的一切，進而理解和更加精細地進行產品個性化控制、微觀業務場景事件和結果控制。

  2. 智慧：模型隨著時間（資料）的變化而變化，整個系統就具備了智慧（自學習）的能力。

  3. 高效：企業需要建立實時或者準實時的資料採集傳輸、模型預測和響應決策能力，這樣智慧就從批量性、階段性的行為變成一個可以實時觸達的行為。

  4. 不確定性：數字化變更顛覆和改變了領導者曾經仰仗的思維方式、結構和實踐經驗，其結果就是形成了複合不確定性這種顛覆性力量。主要的不確定性蘊含於三個領域：技術、文化、制度。

  5. 邊界模糊：數字世界與現實世界的不斷融合成CPS不僅讓人們所知行業的核心產品、經濟學定理和可能性都產生了變化，還模糊了不同行業間的界限。這種效應正在向生態系統、企業、客戶、產品快速蔓延。

AI-CPS OS形成的數字化+智慧化力量通過三個方式激發經濟增長：

  1. 創造虛擬勞動力，承擔需要適應性和敏捷性的複雜任務，即“智慧自動化”，以區別於傳統的自動化解決方案；

  2. 對現有勞動力和實物資產進行有利的補充和提升，提高資本效率；

  3. 人工智慧的普及，將推動多行業的相關創新，開闢嶄新的經濟增長空間。


給決策制定者和商業領袖的建議：

  1. 超越自動化，開啟新創新模式：利用具有自主學習和自我控制能力的動態機器智慧，為企業創造新商機；

  2. 迎接新一代資訊科技，迎接人工智慧：無縫整合人類智慧與機器智慧，重新

    評估未來的知識和技能型別；

  3. 制定道德規範：切實為人工智慧生態系統制定道德準則，並在智慧機器的開

    發過程中確定更加明晰的標準和最佳實踐；

  4. 重視再分配效應：對人工智慧可能帶來的衝擊做好準備，制定戰略幫助面臨

    較高失業風險的人群；

  5. 開發數字化+智慧化企業所需新能力：員工團隊需要積極掌握判斷、溝通及想象力和創造力等人類所特有的重要能力。對於中國企業來說，創造兼具包容性和多樣性的文化也非常重要。


子曰：“君子和而不同，小人同而不和。”  《論語·子路》雲端計算、大資料、物聯網、區塊鏈和 人工智慧，像君子一般融合，一起體現科技就是生產力。


如果說上一次哥倫布地理大發現，擴充的是人類的物理空間。那麼這一次地理大發現，擴充的就是人們的數字空間。在數學空間，建立新的商業文明，從而發現新的創富模式，為人類社會帶來新的財富空間。雲端計算，大資料、物聯網和區塊鏈，是進入這個數字空間的船，而人工智慧就是那船上的帆，哥倫布之帆！


新一代技術+商業的人工智慧賽博物理作業系統AI-CPS OS作為新一輪產業變革的核心驅動力，將進一步釋放歷次科技革命和產業變革積蓄的巨大能量，並創造新的強大引擎。重構生產、分配、交換、消費等經濟活動各環節，形成從巨集觀到微觀各領域的智慧化新需求，催生新技術、新產品、新產業、新業態、新模式。引發經濟結構重大變革，深刻改變人類生產生活方式和思維模式，實現社會生產力的整體躍升。


產業智慧官  AI-CPS


用“人工智慧賽博物理作業系統”（新一代技術+商業作業系統“AI-CPS OS”：雲端計算+大資料+物聯網+區塊鏈+人工智慧），在場景中構建狀態感知-實時分析-自主決策-精準執行-學習提升的認知計算和機器智慧；實現產業轉型升級、DT驅動業務、價值創新創造的產業互聯生態鏈。


【機器學習】在生產環境使用Kafka構建和部署大規模機器學習

【機器學習】在生產環境使用Kafka構建和部署大規模機器學習

長按上方二維碼關注微信公眾號： AI-CPS，更多資訊回覆：


新技術：“雲端計算”、“大資料”、“物聯網”、“區塊鏈”、“人工智慧”；新產業：“智慧製造”、“智慧金融”、“智慧零售”、“智慧駕駛”、“智慧城市”；新模式：“財富空間”、“工業網際網路”、“資料科學家”、“賽博物理系統CPS”、“供應鏈金融”。


官方網站：AI-CPS.NET


本文系“產業智慧官”（公眾號ID：AI-CPS）收集整理，轉載請註明出處！

版權宣告：由產業智慧官（公眾號ID：AI-CPS）推薦的文章，除非確實無法確認，我們都會註明作者和來源。部分文章推送時未能與原作者取得聯絡。若涉及版權問題，煩請原作者聯絡我們，與您共同協商解決。聯絡、投稿郵箱：erp_vip@hotmail.com


相關文章