瞭解新零售下的AI智慧貨櫃，看這篇就夠了

本文分析了新零售下智慧貨櫃的現狀與未來發展，主要包括這5點：新零售與智慧貨櫃概述、智慧貨櫃發展路線和市場分析、智慧貨櫃技術核心、系統結構、貨櫃運營核心與使用者體驗，供大家一起學習和參考。

目前新零售風颳的蠻大，筆者進入該領域近一年，負責過無人便利店、智慧貨櫃、智慧商超等產品，在這個階段不斷去學習AI技術、積累新零售領域經驗。該篇文章作為第一篇AI產品設計覆盤文章，為大家從行業、技術、產品設計三個點去介紹視覺識別智慧貨櫃。

文章也許會衍生成新零售系列，主要目的有：

1. 帶來客觀的新零售+AI領域結合的行業和智慧貨櫃產品動向；
2. 真正以一個PM角色以綜合視覺去看待：趨勢、行業、產品、技術的結合，在加強自身的綜合能力同時，給其他PM帶來實際性的疑惑和思考。

ps：涉及商業限制，文章不會出現具體硬體型號或演算法版本。

文章目錄：

一、新零售與智慧貨櫃概述

1.1 新零售背景

2016年10月的阿里雲棲大會上，阿里巴巴馬雲在演講中第一次提出了新零售，“未來的十年、二十年，沒有電子商務這一說，只有新零售”。

當時的大背景是：線上電商零售流量紅利見底，新中產階級和對應的消費升級觀念崛起，移動支付等技術普及，整個傳統零售行業急需向歐美地區企業學習數字化謀求更好的發展，加上國家政策推動，因此新零售風口正式來臨。

1.2 新零售與智慧貨櫃

如何理解新零售，我們把新零售拆為“新”和“零售”，“新”在於更高效率、更好的服務，“零售”的本質連結是“人”與“貨”的“場”。

《新零售：低價高效的資料賦能之路》：一張圖瞭解新零售

在智慧貨櫃這個產品中：

1. 智慧貨櫃即一個最小型的“場”，有了“場”，便產生了交易的可能。智慧貨櫃佔地面積不到1平方米，幾乎是所有“場”中的最小單位。其成本低，布點位置靈活，可作為前置倉使用，十分有利於零售商家對自己的零售生態整體佈局。同時依靠視覺識別等AI技術(下文會詳細介紹)，加強了線下商品的即得性，提升了使用者體驗；
2. 智慧貨櫃上的“貨”，透過資料驅動，在消費者端做到千櫃千面。可反向驅動供應鏈端和產品設計端(即供給端)，零售商家可做到高價效比的精細化運營，用更短更直接的路線和體驗打動消費者；
3. 在“場”和“貨”不斷迭代中，吸引到“人”(即使用者)。使用者的關鍵指標為流量*轉化率*客單價*復購率，對不同使用者畫像進行精細化運營，提高坪效。

最終，利用AI資料、使用者畫像、商品推薦等技術實現智慧貨櫃“人”、“貨”、“場”的消費生態閉環，這便是智慧貨櫃在新零售時代的運營思路(也可以稱作軌跡)。

對於企業來說，理解產品處於什麼位置是及其重要的，“當前位置”決定了發展方向和目標的確立，是增長路上的重要前提條件。智慧貨櫃在零售生態下作為獲取線下流量入口，在技術方案趨向成熟和數字化明確的背景下，是許多零售商和技術服務商值得投入資源去做的一個點。

市面上最好的點位營業額日超四位數，假設一個零售商有1000臺貨櫃布點，那麼一天的僅靠貨櫃營業額可達到1，000×1，000=¥1，000，000，一個龐大的數字。

二、智慧貨櫃發展路線和市場分析

2.1 智慧貨櫃發展路線

智慧貨櫃目前一共經歷了三個階段。

（1） 自動售賣機階段：

1993年自動販賣機從歐美、日本地區傳入中國，傳統自動售賣機主要是硬體驅動，使用者使用紙幣、硬幣支付，貨櫃透過彈簧彈出商品，但傳統售貨機企業未能有效解決成本，質量，運營等諸多問題，所以導致國內市場上的自動售貨機不僅數量少，且品種非常單一，主要以瓶罐裝飲料售貨機為主。

（2） 無人貨架階段：

2017年，在新零售趨勢加持下，無人貨架迎來風口。無人貨架大部分由網際網路公司進行運營，以幾百元的成本在辦公室等較封閉場景快速搭建貨架，使用者透過微信、支付寶掃碼支付，從貨架拿取商品。但因為沒有構建消費閉環場景，導致商品貨損率極高，所以在運營一年後，大部分無人貨架專案都已暫停運營。

（3） 智慧貨櫃階段：

市場一直在驅動企業創新，無人貨架風口過後，以RFID和視覺識別為核心技術的智慧貨櫃時代正式走上歷史舞臺，與無人貨架相比，智慧貨櫃形成了消費閉環，使用者掃碼開門拿取商品，關門即扣費，貨損率可控95%以上，同時點位達到一定規模後，智慧技術賦能運營及補貨過程，銷售和品牌的規模效益便能逐步產生。

2.2 智慧貨櫃技術解決方案

1. RFID解決方案：RFID分超高頻RFID與高頻RFID，該技術好處是沒有SKU和擺放限制，但相應的會增加人力成本和商品成本，識別準確率大概是95~98%，由於不是本篇主要內容，故不多介紹；
2. 視覺識別解決方案：以影像識別為技術核心，攝像頭、主機板為硬體核心，對消費圖/影片進行目標檢測和分類，極大的提高購買和補貨體驗，同時識別準確率可到到99%~99。9%；
3. 重力感應與視覺識別混合解決方案：以重力感應為主，視覺識別為輔，或者以視覺識別為主，重力感應為輔的形式，進一步提高準確率。

2.3 智慧貨櫃市場分析

目前智慧貨櫃市場的公司分類主要有以下三種：

（1） 無人貨架轉型公司：

從無人貨架賽道上轉戰的公司。該類公司有運營基礎自己運營貨櫃，但是還需尋求硬體資源和組建影像演算法團隊。

代表公司有：猩便利、小e微店。

（2） AI科技技術公司：

本身具備視覺識別技術能力，為傳統行業和領域賦能的公司，該類公司都擁有演算法團隊和AI核心技術基礎支援，一般不做運營，只為零售商提供硬體和軟體技術支援。

代表公司有：深蘭科技、海深科技、雲拿科技。

（3） 傳統自動售賣機企業：

意識到以視覺識別技術為核心的智慧貨櫃是新一輪增長動力的傳統自動售賣機企業，該類企業有運營基礎和硬體基礎，資金量也充足可以很快的組建演算法團隊，研發出貨櫃自運營或者批次售賣。

代表公司有：友寶。

部分智慧貨櫃公司列表

智慧貨櫃核心指標對比

2.4 瓶頸與機會

智慧貨櫃的發展瓶頸主要是技術瓶頸：經過2018~2019的快速發展，智慧貨櫃的發展到一定階段，市面上的智慧貨櫃技術服務商統稱自家的識別準確率在99%以上，則100單最多隻會識別錯1單，但是距離真正成熟階段還差一定距離，識別技術瓶頸在未來會一直存在。

做到“千櫃千面”，多場景全渠道售賣，相容各類商家和商品，會出現各種各樣的複雜場景，對影像識別的精準度和覆蓋度要求更高。如商品遭遮蓋、倒放、推倒、疊放等問題，都需要透過最佳化演算法以及配合其他方案解決。目前解決方案是使用動態識別和重力感應，但這也會增加成本。除了識別精度，還有許多待解決最佳化的技術挑戰。

商品識別已知的工程挑戰問題

從智慧貨櫃的普及率來看市場機會：在美國，平均35人擁有一臺自動販賣機、在日本則是平均23人就擁有一臺、而在中國是4500人。

自動販賣機大國日本目前的自助販賣機數量是250萬臺，而國內自助販賣機總量也不足20萬臺，並且售賣的商品種類單一，分佈不均衡，市場遠未達到飽和。總的來說，智慧貨櫃瓶頸與機會並存。

三、智慧貨櫃技術核心

介紹完宏觀層面，接下來，我們從微觀技術層面的角度讓大家更深入的瞭解智慧貨櫃。涉及到的技術核心主要是AI演算法、資料來源、硬體。

3.1 AI演算法

（1） 識別雲伺服器

AI模型的訓練十分依賴伺服器運算能力，GPU伺服器比一般雲伺服器更適合深度學習專案，通常企業選擇租用GPU雲伺服器或購買GPU服務主機進行專案訓練。

（2） 深度學習開源框架

如TensorFlow，該框架由Google研發開源，因種種原因，是目前最火的深度學習框架之一。

透過使用它可以快速的進行神經網路的開發，大大降低了開發成本。官方網站上有詳細的說明以及機器學習中文社群，對ML學習十分有幫助(http：//www。tensorfly。cn/)。

（3） 識別演算法

在智慧貨櫃運營場景，我們需要演算法做的是影像中物體的定位和分類(Localization & Classification)：識別定位出每一層貨櫃的照片所包含的商品以及商品的類別，為不同的商品框上不同的框，以供購物訂單生成和其他場景盤判斷。要執行該任務我們需要使用卷積神經網路(CNN)為基礎的一眾演算法，如Faster R-CNN、YOLO v1-3等。

CNN執行過程包括四個步驟(具體不做詳細解釋)：

1. 卷積層提取圖片初步特徵；
2. 池化層提取圖片主要特徵；
3. 全連線層將各部分特徵彙總；
4. 產生分類器，進行預測識別。

現在演算法發展十分快速，作為AIPM，可以學習經典演算法的發展歷史和運算原理，與演算法工程師為產品選擇最合適的能力(演算法)，甚至有新演算法開源，PM先下載跑一遍模型，不僅提高了工作效率，也加強了自身的技術能力。

影像識別演算法發展歷史

3.2 商品資料來源和標註

有了演算法和模型，就需要喂資料，標註流程規範和資料來源質量是兩大相輔相成的關鍵，智慧貨櫃售賣的商品最常見的是飲料和盒裝零食。

一般資料標註可利用第三方標註工具進行標註，為了提高標註效率和標註質量，筆者在所在公司也從0-1設計了圖片標註平臺。構建標註平臺前，需要了解機器學習中正負樣本的概念，對資料採集流程有清晰的認知，熟悉標註人員標註和管理標註的流程。筆者設計的標註平臺公開商用後，將會針對如何設計標註平臺專門輸出一篇文章。

資料來源質量：眾所周知，資料質量低會極大的影響模型的效果，容易造成模型的欠擬合或過擬合，影響模型效果和使用者體驗，若出現這種情況，一般需要重新投入新的健康資料來源重新訓練，成本較大。對於保證資料來源的質量，我們通常關注以下兩點。

1. 標註流程是否規範。一般每個標註任務資料都會有專門稽核流程，避免把亂標、標錯不健康的資料來源投放進模型學習。這個主要是靠標註流程的管理和人力資源調配，好的標註平臺也是避免資料質量參差不齊的因素之一，屬於可控範圍；
2. 標註人員是否專業。標註人員通常是實習生，需要經過專門培訓才可開始標註工作，有時候PM和演算法工程師也要參與標註工作。

資料標註：投放訓練流程圖

3.3 關鍵硬體

智慧貨櫃像廠商定製硬體能力，同時需要有專門的LOT後臺對硬體的健康狀態進行監控、硬體管理小程式或者APP為一線運營人員提供硬體管理支援。其中關鍵硬體有主機板、攝像頭、門鎖、 物聯卡，由於涉及內容較多，暫不做詳細介紹。

四、系統結構

系統結構主要分為使用者端、貨櫃硬體端、識別服務端、邏輯服務端。

1. 使用者端：使用者用於購物的小程式或APP。
2. 貨櫃硬體端：實際控制貨櫃上門鎖、攝像頭、燈光、溫度等所有感測器和硬體裝置，與服務端通訊，平時負責將心跳資料和圖片打包上傳至服務端，並且解析服務端發過來的指令實現控制貨櫃硬體。
3. 邏輯服務端：主要任務是接受貨櫃硬體端資料，把照片資料放到佇列中供識別服務端讀取、修改貨櫃訂單狀態、推送訊息、更新庫存等。
4. 識別服務端：主要是實時檢測佇列讀取照片，執行識別服務，生成訂單明細。

五、貨櫃運營核心與使用者體驗

綜合歷史經驗，筆者認為在智慧貨櫃發展前期與使用者體驗和商業標準最貼合的兩個維度是：

1. 對於貨櫃運營客戶：收到錢、收對錢；
2. 對於購物使用者：能買到、能買對。

零售的本質不會變化，智慧貨櫃只是一個新型交易行為的媒介。商家的需求永遠是賣的更多賺的更多，使用者的需求永遠是買到價效比高的商品。

基於該前提，如何保證貨櫃實際運營中穩定性，對關鍵資料指標進行建模，繼而監測貨櫃整體和單體運營情況，以及考慮梳理因演算法識別限制、各種現實異常場景的對應的解決方案，去確保使用者購物體驗，是需要PM負責重點關注不斷去做方案最佳化的，是也是本篇文章的重點，筆者最近的很多精力也是花在了該部分。

5.1 構建貨櫃運營穩定性指標

從演算法模型的維度上評估識別識別模型的穩定性，我們關注準確率、召回率、IOU、平均檢測精度等指標。

在智慧貨櫃購物場景下，使用者一般會有明確的購物目標，效率和確定性對於使用者十分重要。所以從實際運營的維度上評估運營穩定性，最主要關注使用者平均購物時長和訂單準確率。其中購物時長與使用者體驗成負相關，訂單準確率與使用者體驗成正相關。使用者購物體驗好才會有復購率，實現貨櫃佈局的規模效應。

購物時長等於使用者開門到訂單完成扣費的時間，通常是5s~20s。使用者關門後成功扣費的時間越長，證明使用者的等待和不確定的感受時間越長，體驗也就越差。影響時間主要的因素通常是圖片上傳速度和識別服務速度，前者透過服務邏輯最佳化提升，後者透過迭代模型和採用更優演算法解決。

現實還會出現因網路波動影像上傳失敗或者識別服務不順暢的情況 ，這個時候就要有溫馨的互動提示使用者可以先離開購物場景，等待訂單正確扣費。PM需要持續關注使用者平均購物時長，獲取資料支援，檢測整體購物體驗穩定性，永遠以使用者為中心。

訂單準確率是衡量一次購物健康程度的核心指標。訂單的準確率對銷售客單價、使用者復購率等核心購買指標都有極大的影響。不過因拍攝環境影響、模型迭代、演算法受限種種原因，對訂單商品的識別很難達到100%的準確率。但致力達到99。9%應該是所有智慧貨櫃公司的目標。

提高訂單準確率的方向有先處理和後處理：

1. 先處理定義為可以在識別發生前實現的最佳化，如對提高資料來源質量、數量;對模型升級和分組;更換更優演算法等等；
2. 後處理定義為在識別發生後實現的最佳化。如透過畫素對比、距離對比、IOU過濾等後糾正演算法最佳化，或將訂單划進異常訂單池，用更優但更慢的模型處理甚至是人工處理等等。

5.2 常見識別異常場景介紹

穩定的影像識別模型能支援90%以上情況，但是因為智慧貨櫃的單點運營性質，貨櫃擺放的場景是十分任意的，售賣商品的範圍也很廣泛。這決定了影像識別需適應各種各樣的識別環境，如豔陽高照的戶外、燈光昏暗的樓道。

同時識別模型自身穩定性原因，在某個時間點開始趨向不穩定。這種時候就會出現識別異常情況。以筆者的經驗來說，目前識別異常在實際運營中是不可避免的，AI技術還沒有達到能提供100%完美準確率的能力。

識別異常場景通常有漏識別商品、識別多餘商品、識別錯誤商品。

（1） 漏識別場景

該種情況是商品存在於貨櫃中，但是卻沒有被識別模型定位分類到。通常是因為資料集樣本缺失導致模型訓練不足欠擬合或者因攝像頭起霧、陽光直射等拍攝環境問題，導致圖片質量差。

（2） 識別多餘商品場景

該種情況是商品並沒有存在於貨櫃中，但是被識別模型定位分類到。識別出多餘商品，相對於漏識別場景，通常是因為訓練資料集樣本質量差或者模型訓練過擬合，或者某一些商品瓶身反光，包裝複雜導致的。

（3） 識別錯誤場景

該種情況是商品存在於貨櫃中，但是被識別模型定位分類為錯誤商品分類。頻發在模型存在兩個以上外形相近的商品。單個模型商品label越多，即便同個模型在訓練測試時得出的指標無太大差異，但因為有大量的相近商品交錯，可能實際運穩定性差異很大，SKU數量與運營穩定性非線性關係(至少在一般沒有對模型最佳化的情況下)。

若在識別異常發生的時候有顧客購物，會出現幾種異常情況：

1. 顧客剛好買了漏識別的商品，則不會產生訂單，商家需承受貨損；
2. 顧客買了商品，但是識別錯誤，導致扣錯顧客的錢(可能扣多可能扣少)；
3. 顧客沒有購物，但是因為漏識別或者識別錯誤系統認為顧客購買了商品，導致扣多顧客的錢；
4. 因為識別異常場景交錯，對於使用者感知來說購物流程正常，沒有發生以上漏扣、扣多、扣錯的情況。

識別異常情況多了以後對於貨櫃運營商家來說承受的貨損和運營成本就會增加，商家就會懷疑技術能力甚至撤離該貨櫃；也會造成顧客認為機器經常亂扣錢，導致其不會迴歸購物場景。

一定要折衷的話，前期會偏向“寧願扣款錯誤，後續退款給使用者，也不讓商家承受損失”，畢竟使用者只要在一定時間內能及時退款，感知上問題不大。但是商家(特別是小商家)對貨損十分敏感。識別異常無法100%解決，但是可以從透過物理方案把識別環境的變數降到最低、增加訓練數量集、減少模型複雜度、使用後處理演算法等方案最佳化減少。

六、覆盤總結

智慧貨櫃產品基本介紹完畢，該段主要分為智慧貨櫃產品發展方向、AIPM的工作內容、AI產品設計思考，是筆者近一年以來的簡單覆盤總結。

6.1 智慧貨櫃產品發展方向

1. 基於影片動態識別技術的智慧貨櫃。本篇文章介紹的是以靜態圖片識別技術為主的智慧貨櫃，基於動態識別，智慧貨櫃產品的生態運營和影響範圍又會擴充。相應的成本和技術難度也進一步增加，但筆者認為是必經之路，有需求則會有供給，技術的限制只會給人一次又一次打破，這是歷史不變的程式；
2. 利用AI技術提供更多的貨櫃終端體驗方案。如人臉識別，商品推薦，使用者畫像，精細化運營；
3. 使用者前端購買方案成熟和規模放大後，反向引導供應鏈變革，企業重構基於數字化的智慧採購、庫存管理供應鏈系統；
4. 更多的傳統網際網路C端駭客增長運營方案，提高零售購物流程趣味性。如透過GPS定位，衍生戶外社交玩法，達到傳播裂變的效果。

6.2 AIPM工作內容與流程

該部分主要覆盤筆者作為AIPM的工作內容，希望能給其他PM一個認識。

智慧貨櫃專案分為技術定型、試運營、穩定迭代三個階段。在不同階段，PM的工作流程和所需關鍵能力都不同。以AI演算法流程“輸入-訓練-輸出”為思考基礎，每個階段的工作流程也各自分為三步曲。

（1） 技術定型階段：

該階段的理解標準是公司還沒有成型產品，但透過與客戶的洽談對接考察，已確定具體的業務需求。PM需要重點與需求客戶多次反覆溝通，思考清楚業務場景，構建購物(場)空間形成與閉環。隨後與開發一起選用適合的技術以及演算法，開始投入資源研發。

為什麼存在技術選型流程：

1. 在前期不是所有場景的實現的唯一途徑都需要AI解決；
2. 若不是BAT級別，一個新專案的啟動的成本評估十分重要，涉及到AI資源的開發成本更需要可控

在技術定型階段，PM關鍵能力是業務對接能力和技術理解能力，業務指對接客戶，場景分析，商業計劃，技術指前後端，資料庫，cv/nlp演算法和對應解決方案等。時間分配上50%在對接業務，50%在對接技術。

（2） 試運營階段：

產品雛形上線後，可在可控制的範圍內進行產品試運營。

以視覺識別智慧貨櫃為例：第一版運用靜態識別技術貨櫃研發完成後，在客戶公司布點供內部員工體驗。經過一定的試運營時間不斷的最佳化產品的技術和體驗，解決常見BUG。待產品穩定後，客戶簽訂更大合同，開始擴大運營範圍並對外開始商業運營。

這個時候，可能會出現因技術選型失誤或者技術的識別難關導致研發週期不可控的風險，所以在試運營階段，PM關鍵能力是專案管理能力和需求分析能力，對研發週期的可控和客戶提需求的過濾分析特別重要，同時也需要能幫助演算法同事解決技術和業務的衝突，如決策放棄某些需求場景，協調增加演算法資源，參與演算法重選等。時間分配上60%處理專案和需求，40%跟進和深入技術迭代。

（3） 穩定迭代階段：

關於如何將專案視為進入穩定迭代階段，我們可以從兩個方面去看：

1. 產品能力上，相關的技術和關鍵業務指標達到商用標準；
2. 團隊上，有專門負責的產品開發和售前售後團隊，銷售反饋處理的主流程已基本搭建完成。

在本階段，負責的內容與普通產品PM大徑相同，關鍵能力是對專案和產品整體的管理，相對需要關心技術方面的內容會少一些(但是一個新場景進來又會重新進入第一階段)。但關注資料來源的健康，關鍵技術指標和業務指標、思考如何從技術和其他維度上最佳化模型依然是工作重心之一。

6.3 AI產品設計思考

筆者選擇往AI方向發展，除了趨勢還因為對未來智慧強烈的好奇心。

PM所有的輸出基於底層能力結構，結構包含兩部分內容：第一部分是專業化知識，如體驗、戰略、商業、技術等專業知識和技能，主要在工作中體現；第二部分則是個人的人文修養、靈魂素養、情緒、驅動力、潛意識等。

所以我個人理解，在AI產品時代，一個崗位所需的底層能力是不會變化，只是崗位難度的變化。所以，保持產品初心不變，認識到產品的本質不變，把AI技術當作更高效率的技能工具運用在產品上，是我當前階段的認知也是對PM讀者的建議。

#感謝以下文章及作者#

• 無人貨架哀鴻遍野，智慧貨櫃浪潮來襲，無人零售終端未來走向如何？
• 新零售的風口：無人便利店和販賣機的現狀及對比分析

• CNN卷積神經網路原理講解+圖片識別應用（附原始碼）

•