多位專家解答：AI安防行業到底需要什麼樣的伺服器？

 

安防，是目前人工智慧企業營收最多的行業之一。

在高畫質監控攝像頭數量與 AI 滲透率不斷遞增的情況下，由攝像頭採集的影像、影片流資料，需要更強大的計算引擎對其進行傳輸、儲存、訓練和分析。

在現階段的各類安防專案中，依靠智慧 DVR 和 NVR 顯然無法滿足這些要求；而穩定性和安全性都欠佳的 X86 伺服器，由於基於 PC 機體系結構，也很難在安防企業級伺服器市場有驚豔表現。

那麼人工智慧時代下的安防行業，到底需要什麼樣的伺服器？ 針對一系列問題，雷鋒網人工智慧開發者與學術社群“ AI 研習社”，特地設立《 AI 安防行業到底需要什麼樣的伺服器？》主題問答，發起討論。

我們也邀請了浪潮商用機器 OpenPOWER 產品營銷部總監張琪針對使用者們的問題進行解答，浪潮商用機器作為業內少有的可提供安防影片分析軟硬體伺服器一體機的企業，對 AI 安防需求有著深刻的理解。與此同時，以“海、大、宇”為代表的傳統安防公司、以“ CV 四小龍”為代表的 AI 公司、的眾多專家，也從自己的角度對使用者提出的諸多問題進行回答，雷鋒網 AI 研習社節選了 4 大主題的 9 個問題，予以呈現：

主題一、 AI 安防伺服器的需求

1. 現階段大部分安防公司使用的什麼樣的伺服器，既能滿足安防企業現有的需求，同時也能應對好未來的 AI 算力需求？

李迪：

作為安防公司技術高管，之前 X86 伺服器一直都是我們採購的首選。

當下的問題是，各科成績都達標的  X86 伺服器，在很多業務要嵌入 AI 時，遇到蠻多棘手的問題。

從安防使用者實際使用角度考量，目前 X86 伺服器應用在安防行業主要存在三大問題：

一、 CPU 負責邏輯運算的單元並不多，在多工處理時效率低下。面對海量影片資訊，傳統 X86 伺服器單純以 CPU 為核心的資料中心部署已經不能很好地滿足並行靈活計算、多變環境的計算需求，很難在安防企業級伺服器市場有驚豔的表現。

以前的影片資料只需存在後臺，做少量分析即可，也就是說儲存足夠大就行；今天，很多客戶都希望我們能夠實時處理這些海量影片資訊並反饋結果，而這就意味著系統需要同時做解碼、做影片結構化、做識別、搜尋等等， X86 明顯就不夠用了。

換句話說， X86 可以類比手機裡的功能機，它能夠滿足單一的通訊處理需求，而 AI 融入的安防市場，更需要一臺強大的智慧手機，配備更強大的效能以適配遊戲、圖片處理等個性需求。

越來越多新應用的出現，傳統的 X86 計算架構會遇到很多瓶頸，包括資料瓶頸（處理器的計算單元以多快的速度獲取和交換資料）、計算瓶頸（單位空間內能整合多少計算能力）、延遲瓶頸、通訊瓶頸。

就像設計時速 30 碼的道路難承載均速 100 碼的車輛通行一樣，很短時間內就可造成道路擁堵甚至癱瘓。

今天來看，面對大計算、智慧化場景，什麼樣的伺服器 + 軟體解決方案，能夠最先解決算力問題，又能夠更好降低功耗與成本，這就是好產品。

胡曉：

1. 未來城市大腦級的安防網，對檢索、比對、實時三維建模的運算能力要求極高

2. 人車結構化資料增多，安全性會越來越重要

3. 需要更大效能的傳輸，未來實現影像特徵編碼能力

4. 前端越來越智慧，後端儲存需求可能會下降

總體而言，伺服器需適應這四大問題。

二、為什麼客戶方需要伺服器公司提供的軟硬體一體解決方案？

1.  伺服器廠商打造的安防 AI 軟硬體一體機端到端解決方案，相比於 AI 公司開發的方案，有哪些優勢，有哪些難點需要攻破？

李志鵬：

現在基於人工智慧的生態則有個特點，主要是在於生態的多樣性和不成熟。從資料清理開始，匯入演算法，透過框架建模，形成一個人工智慧的應用，傳統客戶沒辦法直接使用人工智慧應用，整合複雜性更高。

所以伺服器公司給客戶提供端到端軟硬體解決方案，在現階段是符合商業規律的，單機銷售模式目前還挺難走通。只能說這種模式比單機更有優勢，但相比 AI 公司，真不好說。

鍾林：

AI 公司的優勢在應用層的演算法效能方面，伺服器公司的優勢在整體成本層。各有優劣，所以具體看場景吧，複雜場景動態人臉找 AI 公司，其他簡單的場景找 伺服器公司。

包翰霽：

其實做一體機方案的伺服器公司比較少，以浪潮商用機器的影片分析方案為例，他們的方案因為提供的是一整套軟硬體產品，尤其是算力模組和軟體包、影像定製化開源框架，所以適用的場景更加寬泛，受限的環境條件要更小，包括光照條件差，監控裝置的老舊和攝像頭清晰度不夠的問題，浪潮的方案都能蠻好地適應這些問題。能夠最大程度上利用好客戶現有的裝置。

難點在於浪潮在人臉識別的單點場景上和 CV 四獸比起來效能上還有差距，不過我上次聽浪潮的思路是，尋找合適的 AI 獨角獸合作，互相補足，一起打造好的方案。

2.  安防行業人臉比對嫌疑人檢測服務等，後端都是有大量的資料在支撐，並且這些資料在快速增長。這些客戶都在用分散式儲存來承載這些資料。所以分散式儲存要求有很好的彈性擴充套件性和高併發響應能力，這就對叢集內的單節點儲存容量，儲存讀寫速度和叢集內節點間通訊速度都有較高要求。那麼現在 AI 安防專案需要什麼樣的儲存伺服器呢？分散式儲存解決方案可以解決安防中的哪些痛點？

孫鍾前：

我們部署過分散式儲存方案來管理海量非結構化資料，目前來看，它的確可以很好地應對包括雲、大資料、智慧分析等諸多安防實際場景。”

之前行業中較為常見的儲存方案大概包括 DAS 、 NAS 、 SAN （ IP SAN&FC SAN ）等，眼下，以上幾種方案在實際應用過程中已經遭遇一些發展瓶頸。

譬如 NAS 本身的系統瓶頸，存在單點故障以及效能問題，網路協議還會帶來額外的 IO 開銷，很難滿足安防 AI 對大規模資料高存取速率的需求。

再譬如 SAN 一般是將塊裝置提供給不同伺服器使用，但伺服器之間要共享資料仍然需要上層軟體來控制。雖然一些基於 SAN 的共享檔案系統，如 Veritas 、 CXFS 等軟體利用後設資料伺服器控制資料訪問，但後設資料伺服器本身也是潛在的瓶頸。

就安防行業來說，相比此前較為常見的傳統儲存方案，基於 GPFS 的分散式儲存伺服器解決方案在大規模叢集應用中優勢明顯，未來應用前景會越來越廣闊。

張琪：

安防行業以前對資料儲存的主要需求就是資料安全，查詢快速，容量大。在安防智慧化之後，對儲存伺服器的新增需求就是強大的算力和高吞吐量。

分散式儲存的多節點備份和高併發正好可以解決安防領域的資料安全和查詢速度的需求；分散式儲存的彈性擴充套件可以讓客戶按照需求靈活擴容，同時以比集中式儲存更經濟的容災備份方案進行基礎設施投資，可以避免客戶一次性投資過大；安防智慧化之後，分散式的高 IO 擴充套件性正好能夠滿足更強的算力需求。

三、各大重要安防場景，需要什麼樣的影片監控解決方案？

1. 在車站、機場這類人流較多的封閉場景中，透過識別非人臉特徵（穿搭、外形等資訊），進行目標物件檢索與跟蹤，往往比人臉來的更有效。一款優秀的非人臉資訊結構化系統，需具備哪些條件？ 非人臉結構化系統在哪些場景中比人臉識別更實用？市場上有哪些優質的解決方案？

謝鵬宇：

影片結構化的應用場景與人臉識別的應用場景是互補的，在開放式空間區域中，很難基於卡口架設人臉識別攝像頭，而且人群相互之間的遮擋嚴重，無法根據人臉識別技術進行識別、定位、追蹤及資料整合。而非人像的影片結構化系統可以在廣角度下捕捉全屏中的目標，透過整體特徵對目標進行追蹤，在公安、機場、高鐵、交通領域都具有廣闊的應用前景。

張琪：

一款優秀的非人臉資訊結構化系統需要對各個廠商的影片裝置和監控系統有優秀的相容性和深入的理解。同時也需要優秀的對影片進行結構化處理的能力。

在光照條件差，影片裝置的清晰度不夠，目標距離較遠，成像較小，以及在廣域監控的場景下。非人臉結構化系統都比人臉系統有更好的應用。人臉系統在這些較差的條件下很難獲取到有質量的人臉資訊。

市面上目前只有浪潮商用機器在專注於這一場景提供解決方案。

2. 交通大腦車輛排程和紅綠燈管控，要解決哪些核心難題？

張琪：

智慧交通在車輛排程和紅綠燈管控方面需要解決的高峰實時調控的問題。如何透過實時路況實時調整，解決高峰擁堵的問題。方案透過檢測每天各個時段的車輛通行密度，進而繪製整個城市的車輛通行密度圖。然後制定新的紅綠燈變化規則，調節擁堵路段的通行密度，達到調節擁堵的效果。

謝鵬宇：

系統做車輛排程之前有個比較大的難題，就是對異常事件的檢測。除了識別人、車、物以外，還必須要感知事件，平時車流都是正常通行，這樣的資料是大量的，而異常資料一般是稀少的，所以基於時空異常的檢測，比如車與人相撞、車與車相撞、車與路相撞，人與人相撞等少見問題，其實挺難訓練出一個高識別率的模型的。

3. 上述場景中，有哪些優質的定製化深度學習開源框架，可以讓資料訓練和建模更加便捷？

曹國勝：

選擇深度學習開源框架？可參考下面這些考量標準：

1 、與現有程式設計平臺、技能整合的難易程度

2 、和相關機器學習、資料處理生態整合的緊密程度

3 、透過此平臺做深度學習之外，還能做什麼？

4 、對資料量、硬體的要求和支援

5 、深度學習平臺的成熟程度

機器學習平臺在功能側重上是不一樣的，把他們分成四大類：

1.     第一類是以  Caffe 、 Pytorch 、 MXNet 、 CNTK  為主的深度學習功能性平臺。這類平臺提供了非常完備的基本模組，可以讓開發人員快速建立深度神經網路模型並且開始訓練，可以解決現今深度學習中的大多數問題。但是這些模組很少將底層運算功能直接暴露給使用者。

2.     第二類是以  Keras  為主的深度學習抽象化平臺。 Keras  本身並不具有底層運算協調的能力， Keras  依託於  TensorFlow  或者  Theano  進行底層運算，而  Keras  自身提供神經網路模組抽象化和訓練中的流程最佳化。可以讓使用者享受快速建模的同時，具有很方便的二次開發能力，加入自身喜歡的模組。

3.     第三類是  TensorFlow 。 TensorFlow  吸取了已有平臺的長處，既能讓使用者觸碰底層資料，又具有現成的神經網路模組，可以讓使用者非常快速的實現建模。 TensorFlow  是非常優秀的跨界平臺。

4.     第四類是  Theano ， Theano  是深度學習界最早的平臺軟體，專注底層基本的運算。  

單純就安防影像而言， Caffe 目測是最好的選擇。

張琪：

通常大家都使用 Tensorflow ， Caffe ， Pytorch 這些深度學習開源框架，浪潮商用機器針對市場上主流的框架進行最佳化，使之更適用於安防影片分析場景，這款框架叫 Power AI ，浪潮商用機器也特別推出了兩個免費的功能模組： LMS(Large module support) 深度學習大模型支援：用於解決超大模型訓練的問題，比如高畫質衛星圖片等； DDL （ Distributed Deep Learning ）分散式深度學習模組：透過更最佳化的演算法引擎和預設的場景演算法去提高訓練效率。

4.  為了讓系統適配更多的行業場景，為了給更多第三方開發者提供 AI 開發平臺， AI 安防行業需要一個什麼樣的開放平臺，並能提升伺服器處理的影片流路數？

張琪：

AI 安防需要能廣泛相容各種影片裝置和影片格式的平臺。以達到充分利舊，保護投資和最大化場景應用的效果。浪潮商用機器的創新應用優選平臺不但可以處理 200 路影片影像，更重要的是可以相容目前客戶購買的各種型別的監控裝置。

陳明：

海康最近提出的 AI 開放平臺重點談到了這麼三點：一是它能夠基於很少量資料，快速生成滿足場景化需求的 AI 演算法；第二是演算法訓練、編譯、最佳化全部自動實現，對零演算法基礎的客戶提供一站式服務；最後它基於海康威視的硬體基礎，開放了具有強大感知能力的智慧產品。

這三個基本條件在任何一個視覺行業都是通用的。

曹國盛：

換個角度講，對於很多大公司來說，開放平臺是沒有辦法的辦法，開放就意味著損失，別人從哪個角度都可以隨意切入進來；如果不開放，想走資料運營的話，就意味著沒有更多人參與，自己一家是無法搞定的。雙刃劍。

趙非明：

開放平臺還有種模式，以華為為例，他們做安防的思路比較簡單，生態合作、分層解耦，透過上層的影響力，提供一整套的解決方案，自己能夠提供的就自己做，自己做不了就推薦合作伙伴去做。

這種打法能在很短時間內威脅到海康的核心利益。分層解耦的提出，就意味著系統不需要統一，使用者在每一層都可以選擇最好的廠商，然後做開放性的介面開發，誰都可以參與專案競爭。

高度成熟的市場一定是使用者導向的，一定是越來越開放。

未來的行業格局，一定是分層的，各個層面都有專業的公司，各個細分領域會出現巨頭，但不會出現類似海康這樣的安防全產業鏈巨頭。

四、什麼效能水平的伺服器可支撐 AI 安防專案的順利落地

1. 安防場景中需要處理大量影像，而影像佔極大的記憶體頻寬，嚴重阻礙了資訊傳輸，如何透過新一代的資訊傳輸技術降低頻寬延遲，提高資料處理效率？

張琪：

浪潮商用機器的伺服器產品中， OpenPOWER 平臺支援 PCIE4.0 以及 NVLINK2.0 ，相對於 X86 平臺擁有數倍的頻寬以及更低的延時。在處理多路併發影片資訊和及時分析上擁有更好的效能表現。

曹國盛：

一般來說， GPU 是專為平行計算而設計的專用協處理器，通常其內部都整合了數千個高速運算核心。由於 GPU 通常都可以直接搭配高頻寬儲存器協同工作，因此比使用一般 RAM 的 CPU 運算速度快出一個數量級。

目前雖然一些企業和機構的資料庫已經使用了 GPU ，但普遍存在一個設計缺陷：其資料庫管理方案都是將資料庫儲存在 CPU 一側，當接到使用者的資料請求時，將資料搬移到 GPU 一側進行處理，然後再把處理結果移回至 CPU 進行儲存。也就是說， GPU 並非真正的系統核心。這種機制決定了即使透過 GPU 加快資料處理速度，但把處理結果搬回 CPU 的過程仍然浪費了大量時間。

如果沒有像傳統系統那樣將資料全部儲存在 CPU 一側，而是將 GPU 作為真正的核心，利用快取記憶體機制將盡量多的資料直接儲存在多核心協同工作的 GPU 一側，這樣做的結果就可避免資料搬移過程中耗費的時間，提升了運算效率。

雖然已有相應的解決方案去加快 GPU 與 CPU 之間的資訊流通，但仍舊存在延時等問題。

目前比較前沿的加速 CPU 與 GPU 資訊交方案是 IBM 與 NVIDIA 聯合研製的 NVlink 資訊交換通道。樓上浪潮商用機器的張琪大牛也談到過 NVlink ，我從使用者角度再來談談 NVlink 。

GPU 和 CPU 間的資料傳輸速度都是一項技術瓶頸，因為 GPU 的視訊記憶體能夠快速而少量的讀寫資料，而 CPU 使用記憶體讀寫則大量而慢速，因此， CPU 的傳輸頻寬大於 GPU 。 NVlink 透過調整相應架構，使得 GPU 和 CPU 間的傳輸速度獲得巨大的提升。

其實 IBM 早在幾年前便注意到了這種趨勢，隨後它們與 NVIDIA 合作，去加快新資料中心工作負載的處理速度。經過四年的研發， POWER8 伺服器聯合了 NVIDIA 的 Tesla P100 GPU 和 NVlink 互聯技術，實現了更高的資料效能分析和深度學習能力提升。早期 IBM 和 NVIDIA 技術如此緊密的結合使得資料流動速度比使用 PCIE 快了 5 倍。

NVlink 除了可實現 GPU-CPU 節點內部的高速互聯，同時還能在 GPU-GPU 甚至 CPU-CPU 之間形成高速互聯。

如果服務計算量大的客戶，一般採用的是 GPU 叢集，這個時候叢集中 GPU 與 GPU 之間的高速互聯就非常關鍵。當然，資料庫也並非完全在 GPU 中處理，也有一小部分會放在 CPU 中，具體會根據客戶的成本以及資料量等問題來靈活安排。

為了讓 GPU 叢集以及 CPU-GPU 之間通訊順暢，近幾年，在技術合作上，以 IBM 和浪潮商用機器為代表的 Power 系列的產品會為客戶的 GPU 資料庫提供 GPU-GPU 以及 GPU-CPU 的 NVlink 通道機器 Minsky 。在市場方面， Power 會向客戶銀行推廣包含 GPU 資料庫的一體機。

這類客戶分兩種，一種是對方只要打包好的、直接能夠使用的產品，他們只需知道這個引擎如何使用即可，另外一種客戶則要是想要自己買機器、做資料庫、做演算法，自己搭建人工智慧引擎。

過去 IBM 和現在的浪潮商用機器主要服務於前者，以一體機的形態把相關的人工智慧技術以及 GPU 資料庫進行整合，從而做成企業級直接使用的、沒有很多指令集、直接連線的產品。

2.  伺服器聯動多路前端智慧攝像機，需要不斷提取大量的人車特徵，並傳輸至後臺進行結構化分析和物件識別，後方的伺服器如何保證在極短的時間內對高併發的各類演算法和智慧分析作出準確回應？

張琪：

主要依靠處理器的多核多執行緒的高併發性，以及處理器和 GPU 的高頻寬性。發揮強大的算力和高吞吐能力去執行演算法模型，處理海量資料。 雷鋒