技術沙龍|原來落地AI應用是這麼回事兒！

目前人工智慧已經邁入應用落地之年，作為備受關注的話題，在重磅政策的加持下市場規模迅速擴大並滲透到各行各業的形勢越發鮮明。在此背景下，作為國內不容忽視的創新企業之一，京東AI依託於NeuHub平臺對資料、演算法以及應用場景的精準判斷，走出了以業務場景驅動AI 技術的發展之路，並結合京東雲的技術支撐能力，提供包括工具、SaaS等一站式服務和應用在內的、端到端整合且不同場景的創新產品與解決方案，以此滿足多維度需求。

前不久剛剛結束的京東雲技術沙龍活動中，多位來自京東雲以及京東AI的技術大咖們面對面就產創雲平臺、DevOps 開發測試實踐、企業智慧化供應鏈建設以及AI模型開發賦能零售場景等在內的多個角度進行了深入探討，其中乾貨滿滿。

此外，現場超百位開發者熱情參與了交流與互動，尤其對AI模型開發、企業智慧化供應鏈建設等諸多技術領域十分關注。想必這些探討也將為與此相關的從業者們提供借鑑與新思路，十分值得廣大開發者們認真學習與總結！

“產業創新雲”作為基於京東自有的人工智慧、物聯網、雲端計算等技術能力，圍繞容器、開發測試流水線以及微服務等雲原生技術構建的一站式支撐平臺意義重大。今年京東雲將智慧產業創新聚焦重慶，將京東雲區域總部落戶在南岸，並正式釋出“產業創新雲”。

在整個產業創新過程中，傳統企業轉型升級的關鍵是技術和人才，面對技術、人才、資源與渠道日漸突出的瓶頸，京東雲的產創雲平臺讓創新創業企業充分利用京東的先進技術，來培養自己的人才，以升級環節中遇到的困境。產創雲從全雲化的技術架構上提供了IaaS資源、PaaS平臺以及SaaS應用，並將京東自研的區塊鏈、AI、IoT相關技術整合在此，開發者可以基於這些相關技術，透過SDK在平臺上開發屬於自己的產品。

除此之外，產創雲還圍繞產業鏈的研、產、供、銷、服五個階段，透過產品創新、產業孵化、產業加速、規模銷售，還有持續運營、可迴圈等幾個方面來助力創新企業發展，打造智慧產業叢集。

具體來說，關於產創雲平臺的實踐操作，使用者都可以登入完成註冊，然後聯絡有關工作人員獲得使用許可權。在平臺之上，提供了容器能力，主要包括一鍵式建立Kubernetes叢集服務，管理節點全託管以及工作節點組可定製等，在建立叢集的過程中還提供了按需分配，其中工作節點可以做到按照自身要求支援自由擴充套件等。

據悉，在產創雲的平臺架構設計上，京東雲設計了三個中心，主要包括應用生態匯聚中心、城市技術能力中心、應用共享服務中心，圍繞軟體的生命週期，從軟體前期需求、設計再到測試，進而擴充到部署層面。，支撐企業在平臺上完成智慧城市、工業製造、智慧民生等行業應用的開發和執行。

此外，為了幫助企業節約開發、測試、部署的時間，保障完成持續整合和部署的工作，京東雲設計了基於容器的CI/CD的開發測試流水線，藉助Kubernetes叢集服務，建立以容器為單位的開發測試部署流程，簡化了環境搭建的步驟，提高了資源利用效率和開發測試部署的速度，並同時降低了遷移成本。

如今身處科技大爆炸的時代，新技術不再以線性方式增長而是以指數方式提升，帶來各種新服務的同時繼而也會引發各種新需求。在以雲端計算、大資料、人工智慧、物聯網、資訊保安、為代表的五項核心技術中，雲端計算在數字經濟時代中承擔了整個產業的作業系統角色，可以被認為是一切資源、能力、基礎和連線的業務平臺。五大技術相互融合，共同推動數字新經濟的高速度高質量發展。在此趨勢下，京東作為一家以零售為基礎的技術與服務企業，堅定地朝著向技術轉型，致力於打造一個包括智慧零售、智慧金融、智慧保險、智慧城市、智慧醫療等在內的全球領先的智慧商業體。

京東的超級電商基因成就了超級雲，超級雲反過來又輔助超級電商。在此基礎上，依託於集團泛零售的豐富場景、洞察能力和技術沉澱，京東將具有產業屬性的AI能力全盤輸出。

智慧零售

京東智慧零售分為線上零售和線下零售兩種場景。其中線上零售主要圍繞京東商城，包括以圖搜圖、拍照購、AI稽核、智慧客服等方案。其中智慧客服作為京東表現突出的線上場景，提供了一整套解決方案，主要涵蓋人工客服的智慧處理、後臺的各種客服大腦、大資料分析等一系列服務。

有調查顯示：客戶發起一次客服活動時，有超過46%的客戶並不希望透過系統提示，進行一步步地操作，反而更希望透過一句話描述問題或需求。京東智慧客服實現的方法是首先要進行前臺的預判，透過描述事情的嚴重程度和型別，結合客戶本身的資料，以及購物的資料，智慧客服會進行預判，決定把你分到人工客服還是AI輔助，還是完全AI客戶。2019年京東線上客服機器人，月均獨立解決725萬通諮詢，僅在618當天線上機器人獨立解決132萬通諮詢。這極大提高了使用者的體驗，也提升了企業業務效率。

一直以來，智慧供應鏈是零售企業的核心，決定了企業的競爭能力。傳統模式下，採銷人員要依靠資料和自身的經驗來完成商品選擇、採購計劃制定、價格制定、庫存管理等複雜工作。在引入智慧供應鏈以前，進行線下配貨、定價，還有倉庫的安排往往都是非常依賴有經驗的配貨人員。

但如今隨著電商規模的迅速擴大，如果不能進行精準高效的供應鏈管理，不僅會降低零售企業的競爭力，更會造成包括上游製造企業在內的行業效率降低。京東從消費者洞察作為原點，藉助大資料和人工智慧技術的應用，融合過去14年的零售經驗積累，與各方合作伙伴一起，打造敏捷、智慧、開放的智慧零售供應鏈。

線下零售場景以智慧門店為例，透過線下門店實現智慧會員購物。智慧門店有三大核心模組，分別是智慧導購，會員營銷和智慧會員結算。 智慧導購：透過人臉識別會員、會員進店後主動向導購推送，內容包含會員資料、會員標籤等可供導購參考資訊。 會員營銷：精準營銷推送促銷資訊、優惠券、會員關懷資訊等，提升會員體驗和消費轉化率。 智慧會員結算：會員無需提供手機號或會員卡，自動識別會員資訊並按會員權益進行結算或積分。透過這套線下智慧場景，客戶從進門就開始享受到全方位的智慧服務。

智慧物流

京東的智慧物流是一個完整體系，無人倉解決進貨、揀貨、包裝等環節，無人車主攻城市環境下的最後一公里配送，無人機則鎖定鄉村配送。無人倉作為全新一代智慧物流技術，其核心特色體現為資料感知、機器人融入和演算法指導生產，可以全面改變目前倉儲的執行模式，極大提升效率並降低人力消耗。從商品入庫、儲存揀貨、包裝、分揀、裝車的環節都無需人力參與，搬運機器人成了無人倉的主角。京東於2017年在上海打造中小型無人倉，單倉的產能超過20萬單；2018年進入無人倉裝置的常態化和規模化應用的一年，大量的智慧化裝置在物流的倉庫開始應用。作為全新一代智慧物流技術，無人倉其核心特色體現為資料感知、機器人融入和演算法指導生產，可以全面改變目前倉儲的執行模式，極大提升效率並降低人力消耗。

除此之外京東還擁有多場景的無人智慧產品，如末端配送機器人、巡檢機器人、干支線自動駕駛貨車、服務機器人等。作為智慧物流體系的重要一環，末端的京東配送機器人自2017年在人大、清華、浙大、長安幾所高校就開始進行配送實驗，未來還會在全國各地的封閉式園區、校園，以及類似於生態城這種開放式的城市道路配送，解決城市配送最後一公里難題。

智慧金融

京東智慧金融服務主要將傳統的風控體系智慧化，依託龐大的使用者和交易量資料以及關聯外部合作伙伴洞察資源，在註冊、登入、營銷、交易等多個核心場景建立標籤和策略，其全魔方產品能夠實現對申請欺詐、信用欺詐、賬戶盜用、洗錢、羊毛黨、虛假交易及黑產等行為的防範。

智慧醫療

在智慧醫療方面，京東與多個高校合作推出醫療分診和醫療知識圖譜。其中線上分診覆蓋28個科室，準確率高達99%以上，醫學知識圖譜主要是為合理用藥和藥學教育提供了支撐。在京東網際網路醫院上，已 實現了導診、醫生匹配、諮詢、開藥的閉環服務，智慧分診準確率高達96%。

總結來看，京東AI發展不是紙上談兵，與其他的AI廠商比較，最大的區別在於應用場景大部分是自身使用完備再推出使用。京東雲在底層提供技術資源的支撐，然後把合作伙伴能力向外賦能，服務於各類行業。京東雲作為京東能力對外輸出的一個重要出口，未來還會輸出大資料、區塊鏈、物聯網、安全等多重能力，畢竟未來AI與雲的結合是必然，因為只有AI與雲相結合才能形成真正的普惠。

國際供應鏈管理專家馬丁·克里斯多夫20年前預言：“未來的競爭不是個體或組織之間的競爭，而是供應鏈與供應鏈之間的競爭。”人工智慧作為新一輪產業變革的核心驅動力，也因此催生了傳統供應鏈走向智慧供應鏈這樣的趨勢。

所謂智慧供應鏈和傳統的快遞分類其實大有不同，主要被區分上中下游，呈網狀而非一條單獨的直線（從產品到物流），主要分四個階段分別是視覺化階段、預測分析、規範化以及自我學習等。據觀察，現在大部分企業基本停留在第一個階段，也就是視覺化，甚至更關注端對端的視覺化展現。

經常有人會問，為什麼京東可以做智慧供應鏈呢？關於這個問題從京東人工智慧事業部高階產品經理張雲星的分享中得到了答案。AI、大資料、雲端計算是技術基礎，智慧裝置則是硬體載體。具備技術之後，自然需要有人去做進一步工作，最後將技術應用到場景中去。京東擅長零售，而零售、物流、金融三部分剛好是在智慧供應鏈中的幾個重要環節。

具體來說：在基礎層方面，京東雲主要提供關於基礎的一些能力，例如計算、儲存等算力資源，並且需要有大量資料資源訓練使得平臺更加智慧。除這兩塊之外還需要有演算法，涵蓋自然語言處理、語音語義、計算機視覺等技術所對應不同的演算法資源。基於算力、資料、演算法三方面的資源，京東Neuhub平臺提供了一系列工具讓AI變得更聰明。例如人工智慧從資料管理開始到模型訓練以及再到模型部署，變成一種能力，這是一整套模型開發工具的輸出。從模型開發工具訓練出來的能力如人臉識別、語音識別等，已經接入到京東雲上，並且以API的方式向外賦能。在能力層之上就是場景層，主要分為兩個：一個是生產，一個是流通。平臺將AI能力提供給獨立開發者或第三方合作伙伴後，接收方將這些能力進行二次開發，生成一個新的產品或新的能力。

關於智慧平臺能力，通常可以理解為一部分是透過海量資料訓練完成的能力，可以隨時呼叫，還有一部分能力是作用在模型開發平臺上。一般模型開發平臺包含了幾個要素，從資料標註開始，再到模型開發，跑通資料以及檢查模型是否為預期等。如果能力比較好，就可以做到將能力釋出成一個服務，進一步使用。

以NeuFoundry神鑄平臺為例，作為京東豐富場景的的最佳實踐，NeuFoundry提供從 資料標註 -模型開發 -模型訓練 -模型評估 -模型釋出的一站式人工智慧開發平臺，提升 AI開發的效率、降低開發成本、加速企業 AI人才建設 。平臺不僅支援影像類、文字類深度學習，還支援機器學習，比如銷量預測等。 僅僅如此還是不足夠的，還會透過預設模型來進行海量資料訓練，使得智慧供應鏈更為智慧聰明 。

另外NeuFoundry神鑄平臺還會為不同型別的開發者提供多種互動方式，如針對對演算法比較精通的演算法工程師提供演算法任務提交和Jupyter NoteBook方式，同時對業務很精通的業務開發人員，提供透過圖形化拖拽或者自動化訓練方式實現根據業務資料訓練出定製化AI模型。舉幾個京東AI平臺賦能智慧供應鏈落地案例。第一個典型應用是 消費場景，消費環節是供應鏈的驅動源頭，將消費場景與人工智慧技術結合，實現三類智慧化：精準營銷、智慧交易、門店智慧化。

第二個典型應用是 流通場景，透過人工智慧技術為供應鏈流通賦能，實現四類智慧化：倉儲智慧分析和行為管控、協調倉儲、預測及流程最佳化和智慧外呼降本增效。舉個例子，在倉儲場景中，有許多需要分撿的作業，如果採用人工，速度緩慢且成本高。而利用視覺分揀機器人可以實現效率的大幅度提升。透過京東AI平臺向生態夥伴悉見提供人臉識別、商品識別、視覺識別等開放能力，賦能智慧物流場景，打造的AI+AR智慧供應鏈解決方案。

第三個典型應用是在 生產場景。透過C2B智慧平臺具備使用者洞察、反向定製、精準營銷及市場洞察等能力，助力商家提升產品轉化率和市場份額。

一般常見的模型開發過程是資料標註，模型訓練，模型部署幾個流程，而在具體業務部門，或者行業領域中，可以增加業務需求、技術選型、模型匹配等環節，這些是日常業務團隊的必要步驟。首先需要確定一個方向，針對業務需求進行技術選型，之後進行資料標註和模型匹配，接著進行模型開發，最終訓練結束後部署成線上應用。

AI能力一般分兩種，分別是通用能力和演算法能力。具體來說，通用能力不針對具體的行業應用，主要解決日常或者泛化問題，例如通用文字識別，不管是身份證還是駕照，任何一張圖片訓練後的模型都會盡可能去識別文字內容，而京東AI的演算法能力主要針對供應鏈、零售、物流、金融方面。

針對具體的應用場景，以拍照購為例來講解模型開發過程。拍照購是由京東研發的影像商品識別功能，支援一次性識別影像中的多個商品（多主體檢測），並反饋每個商品的位置、商品品類類別、京東同款商品資訊等。它適用於廣告圖商品檢測、場景中商品識別、拍照識貨、影像商品打標、商品分類管理等場景賦能。

先看拍照購的業務需求，總結下來一共有三個需求：①需要覆蓋商城數十億正品商品；②支援一次性識別影像中的多個商品（多主體檢測），並反饋每個商品的位置、商品品類類別、京東同款商品資訊等；③需要支援客戶多種產品形態，如PC、移動端。小程式等；之後需要確定技術選型，使用者拍一張圖片之後，首先要識別這個影像屬於哪一種影像分類，結合的實際的場景中，需要覆蓋商城12個商品品類200個細分類目，支撐十萬SKU級別細分類。然後根據使用者上傳的圖片進行目標檢測，需要能夠實現自動定位到商品主體，並支援多商品主體檢測，能夠區分不同商品的顯著性。接下來需要進行特徵匹配，找到與圖片商品匹配度最高的商品，返回接著結果進行再做一個召回結構重排。將想要優先展示的展品被識別出來，最後就是Indexing。

此外，拍照購在目標檢測以圖象分類的基本能力上增加了一些購物的業務邏輯，目前商城內所有的商品都涵蓋。拍照購已解決了傳統圖片分類遇到的問題，包括相同內容的圖片可大可小，尺寸大小不統一，物品變形或特殊擺放，以及外界光影、背景干擾導致的圖片顯示狀態不同。除此之外，商品狀態前後出現變化、商品包裝等同於商品、同類商品外觀過於接近等額外的問題也已得到很好最佳化。

在資料收集方面，會考慮商業目標和使用者使用場景，增加熱銷品的訓練資料量，儘量提高商品類目的覆蓋率和同類商品的資料量。另外，顧客曬單中的圖片可以有效彌補商家圖片在落地場景中的不足，因此，也是拍照購的重要訓練資料來源。在進入資料標註之前，研發會對訓練原始資料做預處理，包括圖片去重，去燥和預標註等，以提高資料質量，降低後續人工標註難度。根據資料維度的不同，拍照購的資料標註會包括主體框圖、圖片相似性和圖片分類等多種型別。

另外一個案例，即“70年，我是主角”。這其實是京東雲和京東AI與人民日報聯合運作的一個推廣活動，主要表現在使用者上傳一張照片就可以做到識別人臉並生成五張使用者海報，進而幫助產生一個影片，在影片中完成人臉替換。

與很多靜態圖片或者超短小影片換臉不同，這部微電影提供網友用於換臉的影片片段包含了大量的奔跑鏡頭和頻繁的姿態變化，尤其是多變的光影使主人公臉部的明暗差異變化非常大，這就給人臉關鍵點檢測、定位及渲染都帶來了困難。

具體來說，演算法工作做完以後緊隨其後的就是一個人臉替換的程式，以及標註好的圖片。“我們會從另外一個角度去做GPU加速，原來這個程式跑在GPU上的，換一張圖片需要5秒鐘，加速以後換一張圖片只需要100毫秒，這個量級的處理很關鍵。通常，使用者上傳圖片，我們識別一個人臉，然後檢測是不是重要人物，隨後提交換臉請求，我們會對海報以及幾百張的照片同時替換，然後做一個影片合併，再把合併好的資料傳到CDN上，結束以後就可以去檢視自己的換臉影片和海報結果了。”

盤點下來，整個業務流程中哪一部分耗時最長，又是哪一部分使用者等待的耐性最少，如果使用者想立刻知道這張圖片是不是合格…這些都要給出足夠的資源判定。換臉影片終端使用者想要看到的結果就是影片，所以京東雲將珍貴的GPU資源提供給了人臉檢測和影片這部分。

這個過程中，京東雲提供的CPU資源去做海報。從工程角度來考慮這個問題，當業務做得更精細時，應該把CPU的任務和GPU的任務完全拆分開，只讓GPU去做最核心運算，就不會出現GPU卡，否則就是對資源是很大的浪費。在業務高峰期間，將70秒的影片拆分成6段，可以做一個隨機的選擇；當業務低峰期的時候，系統把70秒完整的影片給使用者展現出來，最終影片大小是5兆左右。

如果跳出具體的案例，上升到企業級的應用層面，如果企業業務資料並沒有標註，就可以把業務資料放到京東NeuHub平臺，可以被提供一些常見的分類，例如圖片分類或者框圖示註、語音標註等。實際上如果資料齊備，就可以用這個工具，無負擔。

此外需要強調的一點，當資料齊備以後就會自然進入到一個模型訓練的過程，除了使用使用者自己的資料以外，京東NeuHub平臺也提供行業的一些公開資料集給使用者應用，併為自己業務定製。

進一步瞭解，京東NeuHub在模型訓練以及資料標註方面也支援主流的移動端框架，還有一些軟硬一體的裝置等，例如像自動結算臺，還有服務機器人，未來會有一些行業的整體解決方案出爐。

近年來基於雲端的企業數字服務轉型，京東雲快速佈局並透過戰略伙伴構建豐富的大生態以及細分領域的技術版圖，憑藉自身研發以及集團商業能力的服務輸出，推出及更新多達300+款產品與服務，實現雲端計算產業鏈的整合及升級，想必關於雲端計算、有關AI、推及京東雲，未來的驚喜更是不斷。

點選“ 閱讀 ”，進入京東雲開發者中心檢視演講影片