我國在類腦計算、類腦感知兩個重要方向均已取得基礎性突破。
在開放世界中，智慧系統不僅要處理龐大的資料量，還需要應對各種「長尾問題」，如自動駕駛中面臨的突發危險、出入隧道的劇烈光線變化、夜間強閃光干擾等。在這類任務上，傳統視覺感知晶片由於受到「功耗牆」和「頻寬牆」的限制，往往面臨失真、失效或高延遲的問題，嚴重影響系統的穩定性和安全性。
為了克服這些挑戰，清華大學精密儀器系類腦計算研究中心聚焦類腦視覺感知晶片技術，提出了一種基於視覺原語的互補雙通路類腦視覺感知新正規化。
5 月 30 日，該研究的論文《面向開放世界感知、具有互補通路的視覺晶片》（A Vision Chip with Complementary Pathways for Open-world Sensing）登上《自然》雜誌封面。這是該團隊繼 2019 年 8 月的類腦計算晶片「天機芯」後，第二次登上《自然》封面，標誌著國內晶片領域在類腦計算和類腦感知兩個重要方向上均已取得基礎性突破。
5 月 30 日新一期《自然》雜誌封面。
論文連結：https://www.nature.com/articles/s41586-024-07358-4
據介紹，新研究提出了一種受 HVS 多級特性啟發的互補感知正規化，其借鑑人類視覺系統的基本原理，將開放世界的視覺資訊拆解為基於視覺原語的資訊表示，並透過有機組合這些原語，模仿人視覺系統的特徵，形成兩條優勢互補、資訊完備的視覺感知通路。
基於這一新正規化，團隊研製出了世界首款類腦互補視覺晶片「天眸芯」（Tianmouc），它可以在極低的頻寬（降低 90%）和功耗條件下，實現每秒 10000 幀的高速、10bit 的高精度、130dB 的高動態範圍視覺資訊採集。它不僅突破了傳統視覺感知正規化的效能瓶頸，而且能夠高效應對各種極端場景，確保系統的穩定性和安全性。
類腦互補視覺晶片「天眸芯」的測試系統。被處理的資料首先會傳輸到 FPGA 版上，FPGA 板採集原始資料，然後透過 PCIe 傳輸到主機，主機再負責資料處理，以完成測試等任務。
基於「天眸芯」，清華團隊自主研發了高效能軟體和演算法，並在開放環境車載平臺上進行了效能驗證。在多種極端場景下，該系統實現了低延遲、高效能的實時感知推理，展現了其在智慧無人系統領域的巨大應用潛力。
天眸芯的成功無疑是智慧感知晶片領域的一個重大突破。它不僅為新一代 AI 技術的發展提供了算力支援，更為自動駕駛、具身智慧等重要應用開闢了新的道路。清華大學表示，結合團隊在類腦計算晶片天機芯、類腦軟體工具鏈和類腦機器人等方面已應用落地的技術積累，天眸芯的加入將進一步完善類腦智慧生態，有力地推動人工通用智慧的發展。
「天眸芯」互補視覺晶片設計
在物理感測系統中，想實現互補感測正規化有幾個必須解決的挑戰。首先，設計畫素陣列至關重要，這需要同時解析同一焦平面上相應圖元的光電資訊轉換。其次，兩條路徑的讀出架構必須包含異構構建塊，這些構建塊可以使用不同的資料分佈和格式對電資訊進行編碼。
如圖 2 所示，「天眸芯」採用 90 nm CMOS 背照式技術製造，由兩個核心部分組成：
用於將光學資訊轉換為電訊號的混合畫素陣列；
用於構建兩個 CVP 的並行異構讀出架構。
受感光細胞的啟發，混合畫素陣列包括錐體和杆體畫素，具有不同的特性，如顏色、響應模式、解析度和靈敏度。這些畫素可以將視覺資訊解析為特定的顏色（紅色、綠色、藍色）和白色光譜，充當顏色對立圖元。
研究團隊對「天眸芯」的量子效率、動態範圍、響應速度、功率和頻寬等效能指標進行了全面的評估。該晶片在 COP 和 AOP 中均表現出較高的量子效率，530 nm 最高可實現 72% 的 AOP 和 69% 的 COP。「天眸芯」透過利用互補的 COP 和 AOP 中不同增益模式的動態範圍來實現高動態範圍。
開放世界表現
「天眸芯」的互補感知正規化為自動化系統提供了巨大的想象空間，它可以作為感知演算法的優質資料來源。為了在開放世界場景中評估這些能力，研究人員開發了一個整合「天眸芯」的汽車駕駛感知系統（圖 4a），以評估在開放道路上行駛，涉及各種極端情況，例如強光干擾、高動態範圍場景、域偏移問題（異常物體）和具有多個極端情況的複雜場景。
圖 4：開放世界感知實驗。
為了利用天眸芯架構的優勢，作者設計了一種多路徑演算法，專門用於利用 AOP 和 COP 的互補特性。在感知層面，圖元的完整性使得原始場景的重建和對極端照明的適應成為可能。同時在感知層面，AOP 提供對變化、紋理和運動的即時感知，而 COP 提供精細的語義細節。透過同步這些結果，我們可以讓 AI 系統全面瞭解場景。
圖 4b 所示的第一種場景評估了突然強光環境的感知能力，在光照快速變化的情況下，感測器的魯棒性受到了考驗。天眸芯對這種強光表現出了極強的適應能力，同時在正常情況下也保持了較高的感知效能。對於實時高動態範圍感知（圖 4c），兩條通路的互補靈敏度使天眸芯能夠感知高亮度對比度而不會犧牲速度。
在感知層面，AOP 上的高速光流濾波器補充了異常檢測能力，其中 AOP-TD 和 AOP-SD 之間的協作可以精確計算運動方向和速度以識別異常（圖 4d）。圖 4e 顯示了自然光照昏暗、交通環境混亂、人造光突然干擾的複雜場景，需要在取樣速度、解析度和動態範圍方面具有不同的感知能力。CVP 上的演算法提供了互補和多樣化的結果，為這些場景中的進一步決策提供了充足的空間。
根據 mAP_0.50（平均精度），與圖 4 中所有情況下僅使用單一路徑相比，CVP 具有更優的整體檢測效能。值得注意的是，它在實現這一目標的同時消耗了不到 80 MB s^(-1) 的頻寬和 328 mW 的平均功耗。實驗結果表明，天眸芯可以有效適應極端光環境並提供領域不變的多級感知能力。
天眸芯擅長捕捉複雜的認知細節，同時可對快速不可預測的突發情況和運動作出響應。它提供高速、高動態範圍和高精度，同時保持了自適應低頻寬的特性。同樣重要的是，它的高可擴充套件性允許透過先進的製造工藝實現高階空間解析度，從而促進具有低功耗和頻寬要求的解析度敏感應用。作者認為，新的正規化為開發用於開放世界應用的先進計算機視覺理論、演算法和系統開闢了一條新途徑。
該工作的論文通訊作者為清華大學精密儀器系施路平教授和趙蓉教授，此外精密儀器系楊哲宇博士（現北京靈汐科技有限公司研發經理）、精密儀器系 2020 級博士生王韜毅、林逸晗為論文共同第一作者。
參考內容：
https://www.tsinghua.edu.cn/info/1175/111803.htm