中國加速伺服器市場預計將在未來五年保持穩定增長，邊緣計算也得到越來越多的關注。邊緣計算與人工智慧技術的合作，可以更好地凸顯人工智慧技術在行業中的價值，為人工智慧技術的使用者帶來利益。因此，邊緣計算的快速發展也是加速計算伺服器增長的重要因素之一。IDC預測，到2026年，中國加速計算伺服器市場將達到103.4億美元。
2021年，IDC對加速計算伺服器市場有如下解讀：
從廠商銷售額角度看，浪潮、寧暢、新華三位居市場前三，佔據了近70%的市場份額。
從伺服器出貨量角度看，浪潮、安擎、華為位居前三，共佔有60%以上的市場份額。
從行業的角度看，網際網路依然是最大的採購行業，佔整體加速伺服器市場近60%的份額，同比2020年有70%以上的增長，此外金融、服務、製造、公共事業和能源行業均有超過50%的上漲。人工智慧應用在很多應用場景中已經非常成熟，比如影像識別、視訊監控、人臉識別、智慧客服等。在業務需求的驅動下，許多面向行業的工作負載也得到了廣泛應用，如媒體娛樂、現代農業、智慧家居、智慧電力等領域。人工智慧工作負載的採用已經從早期試點成為企業業務的關鍵需求。
從加速卡的角度看，2020年的採購主要集中在搭載V100、V100S、A100和T4的加速伺服器上，此外Nvidia的 A10、A30、A40和Atlas系列加速卡在部分領域已經開始使用。2021年，中國加速卡數量出貨超過80萬片，其中Nvidia佔據超過80%市場份額。此外還包括AMD、百度、寒武紀、燧原科技、新華三、華為、Intel和賽靈思等。
根據IDC調研發現，2021年，用於推理工作負載的加速伺服器已經達到57.6%，預計到2026年將超過60%。