![](https://pic1.zhimg.com/80/v2-de13c67cbca3d67747f5e70282e3d0c9_720w.gif?source=d16d100b)

2022年8月2日， **TPC事務處理效能委員會官網正式釋出了星環科技在3TB資料量下的TPCx-AI測試結果，Sophon Discover 3.0以AIUCpm** **2,740.05分的優異表現，成為該資料量下全球首個成功透過測試及官方審計的產品，也是截至目前該AI基準測試最大的資料量級。**

**TPCx-AI，貼合實際人工智慧使用場景的Benchmark**

![](https://pic1.zhimg.com/80/v2-0155645d64b8437c499da413a9f2ef6d_720w.png?source=d16d100b)

TPC（Transaction Processing Performance Council）全稱為事務處理效能委員會，是全球最知名的資料管理系統測評基準標準化組織。TPCx-AI是TPC組織定義的一種端到端AI基準測試標準，用於衡量機器學習或資料科學平臺的在AI端到端流水線中的效能。該AI基準測試對於資料處理量級、執行便捷性、價效比、廣泛適應性、ML&DL功能均做出要求，並需透過官方審計。TPCx-AI標準要求測試廠商擁有人工智慧領域的技術能力，還需要提供完整的軟硬體解決方案和一站式的人工智慧平臺，並在AI前沿領域具有突破性研究。

TPCx-AI測試標準共提供10個機器學習和深度學習測試用例，涵蓋客戶分類、客戶對話轉錄、銷售預測、垃圾郵件檢測、價格預測、分類和欺詐檢測等應用場景。每個用例都包含：資料生成、資料管理、模型訓練、模型評分和模型推理階段。區別於其他AI基準，TPCx-AI使用多模態的資料集（包含結構化和非結構化的影像、音訊等多模態資料格式），並可擴充套件到TB級別；資料管理階段包含資料清洗、資料探索和預處理等過程，實際模擬了商業生產環境的資料處理流程。最後使用資料集進行模型訓練、模型推理和模型評估。

![](https://pic1.zhimg.com/80/v2-d65e3f5b4d1f9a9a1964eb7120625d01_720w.png?source=d16d100b)

AI測試用例的端到端流程

**秉持研發創新技術初心，星環科技朝TPCx-AI進發**

![](https://pic1.zhimg.com/80/v2-0155645d64b8437c499da413a9f2ef6d_720w.png?source=d16d100b)

作為長期從事大資料和人工智慧基礎平臺研發的企業，一方面星環科技保持開放的心態與業界共同進步，因此有責任和TPC一起，完善TPCx-AI這項在接近企業生產環境中的人工智慧（含機器學習）產品和方案的基準測試，為機器學習平臺行業提供基線；另一方面，星環科技始終追求技術自主性和先進性，不斷檢驗自身產品體系和框架在當前業界主流人工智慧場景中的線性擴充套件性、高效能、高價效比和廣泛適應性；此外，TPCx-AI作為首個端到端大資料+人工智慧的資料科學Benchmark，有對場景理解、大資料技術、AI科學與技術的多重挑戰，這和公司追求的“把自主研發的領先創新技術賦能全世界各行各業，促進社會可持續發展，透過科技讓人類的生活更美好”的宗旨也是高度契合的。

**“複雜計算環境”、“AI全流程”、“多模態”——大資料與AI融合的基準測試所帶來的一系列挑戰**

![](https://picx.zhimg.com/80/v2-0155645d64b8437c499da413a9f2ef6d_720w.png?source=d16d100b)

**複雜的計算環境**

TPCx-AI是標準的大資料和AI軟體異構混合計算環境，其中大資料相關的安裝軟體包括：Hadoop、Spark、Yarn、HDFS、Horovod等，AI相關的安裝軟體包括：Tensorflow、Keras、Sklearn、XGBoost、Pandas等；同時也是標準的硬體異構混合計算環境，同時包含CPU加速和GPU加速，以及單機加速和分散式叢集加速。一方面較為考驗平臺對於大資料和AI異構混合計算環境的適應性，另一方面對於不同種類硬體的異構運算，也提出了能力要求。

**AI全流程的測試場景**

TPCx-AI的測試場景包含資料生成、資料管理、模型訓練、模型推理、模型評估、吞吐量併發測試，包含了端到端的資料科學全流程，需要平臺具備AI全生命週期的能力。

**豐富的測試用例**

TPCx-AI共提供10個測試用例，包含7個機器學習模型和3個深度學習模型，模型涉及有監督學習和無監督學習。其中，用例9使用的是混合模型（模型結構為：embedding神經網路+LogisticRegression）。對於平臺而言，需要解決效能最佳化瓶頸，並且有效處理CPU/GPU密集型計算、IO密集型計算、記憶體密集型計算等多樣的計算型別。

**多模態的資料型別**

區別於其他AI基準，TPCx-AI使用的是多模態的資料集，包含結構化和非結構化（影像、音訊等）多種資料格式，對於平臺多源異構的資料處理及分析能力提出了要求。該測試集可擴充套件到TB級別，是將大資料與人工智慧技術進行融合測試的場景。

**“更快”、“更少”、“更極致”——不斷探索軟體的可能性**

為了應對上述挑戰，星環科技對軟體做了大量的最佳化工作，從而實現了記憶體佔用更少、計算更快、產品更加極致的目標，具體最佳化工作如下：

-   Spark引數最佳化/ UseCase引數最佳化：深入瞭解每個UseCase的邏輯，分析執行細節，確定最佳化方向；透過監控系統資源使用情況以及監控JVM中GC情況，對每個UseCase的Spark引數進行最佳化。針對不同UseCase的效能瓶頸：計算、IO、記憶體、通訊，在TPCx-AI官方要求精度範圍內以及可修改引數範圍內，對UseCase自帶引數進行除錯最最佳化；
    
-   結合RDMA、GPUDirect基礎技術嘗試提升節點與叢集的整體計算和通訊效能；
    
-   對模型訓練及推理過程嘗試編譯級別最佳化，充分發揮CPU向量計算、GPU平行計算效能；
    
-   使用混精、剪枝、蒸餾等技術嘗試最佳化模型，記憶體佔用更少，計算更快。

**一款自主研發的資料科學平臺，終在國際基準測試中獲亮眼表現**

![](https://pic1.zhimg.com/80/v2-0155645d64b8437c499da413a9f2ef6d_720w.png?source=d16d100b)

至此，星環科技正式向TPCx-AI發起挑戰。歷經前後半年時間，星環科技的資料科學平臺Sophon Discover分別進行了TPCx-AI scale factors為100GB、1TB、3TB的測試。其中，1TB資料的效能表現為1696，比4月TTA釋出的效能結果高出超出491分，比8月DELL釋出效能結果依然超出218分。當然，我們不滿足於1TB資料的效能測試結果，向著3TB資料規模發起挑戰，最終成為全球首個透過TPCx-AI scale factors為3000基準測試及官方審計的廠商，且效能達到了2740.05。與同資料量下的其他結果相比，Sophon Discover每節點可貢獻456.68的效能得分，優於CDP每節點貢獻390.19的效能得分。

從公佈的測試結果不難看出，Sophon不論從資料量級、效能表現、價效比及自主性方面均達到了最優的成績。

![](https://pic1.zhimg.com/80/v2-a72f8cf910fb8203ab2456adfd9e2a01_720w.png?source=d16d100b)

值得一提的是，在所有公佈的測試結果當中，只有星環科技使用的是完全自主研發的國產資料科學平臺。除了可以保障使用者的平臺使用安全外，此次基於資料科學平臺Sophon Discover 3.0的測試結果，也是真正意義上可實際商用的AI測試結果，其配置符合企業實際落地AI應用時，使用分散式叢集的商用配置。

**建言獻策，為國際基準測試貢獻中國技術力量**

![](https://pic1.zhimg.com/80/v2-0155645d64b8437c499da413a9f2ef6d_720w.png?source=d16d100b)

在進行產品測試的過程中，我們也發現了多處BUG並幫助TPC完善了TPCx-AI套件的程式碼邏輯，使得測試環境更加穩定。此外，星環科技向TPC組織提出了TPCx-AI@Sophon測試方案，最終該方案透過了委員會稽核，成為被官方認可的國際基準測試框架。今後，其他廠商可以在他們的硬體上面執行基於Sophon 的TPCx-AI測試套件，用於衡量硬體的效能。

至此，星環科技也成為了TPCx-AI的技術貢獻者之一，為國際基準測試貢獻了來自中國的技術力量。

![](https://picx.zhimg.com/80/v2-1733f1159d232ff29764a7de944e1053_720w.png?source=d16d100b)

![](https://pic1.zhimg.com/80/v2-769718936d940fcfd959282b6c57820d_720w.png?source=d16d100b)

作為全球首家透過3TB TPCx-AI國際基準測試及官方審計的企業，星環科技為企業AI應用的商用落地探索出了一條可行道路。未來，星環科技也將秉持“自主原創，領先一代”的技術發展策略，為使用者提供更強效能和更高價效比的人工智慧框架和平臺，在數字化轉型之路上，以技術之力幫助使用者解決AI落地難題，更深入地洞察資料價值。

全球首家！星環科技透過3TB TPCx-AI測試，實現大資料與AI的完美融合

相關文章