鳥兒舒展羽翼，狼群擁護在頭狼的身邊，企鵝共同撫育後代……動物的社會行為背後都有著什麼樣的含義？繁殖、捕食、防禦、建立社會等級的遞進，是否揭示了人類一步步進化的過程？
這些問題的研究被稱為動物社會行為研究 (animal social behaviour)，該研究精確量化、身份識別和行為分類的特性，有助於揭示大腦功能和精神障礙在互動過程中的作用。同時，動物社會行為研究模型也在人類社會障礙研究中發揮重要作用，而社會障礙則是自閉症、抑鬱症以及社交焦慮症等疾病的高度共有病徵。
過去，對動物社交行為的研究和理解受到了資料標註不足的限制。儘管如 multi-animal DeepLabCut、SLEAP 和 AlphaTracker 等深度學習技術為資料標註提供了強大的工具，但其在實驗場景中的應用卻受到高質量基準資料集可用性的限制。現有的多動物姿態估計資料集往往無法覆蓋廣泛的社交行為測試模型。這限制了研究的廣度和深度，因為不同物種或不同環境下的行為可能無法得到充分的考慮。
動物行為研究急需透過技術創新提升研究效率和準確性。基於此，SBeA (Social Behavior Atlas) 應運而生，由中國科學院深圳高新技術研究院開發，能夠全面量化自由群居動物的行為，使用較少的標記幀數（約 400 幀）進行多動物三維姿態估計，透過雙向遷移學習策略，在多動物身份識別方面的準確率超過 90%。相關成果發表於Nature。
論文連結：
https://www.nature.com/articles/s42256-023-00776-5
關注公眾號，回覆「SBeA」獲取完整論文
SBeA 的兩大結構：姿態跟蹤和行為對映
為了全面量化自由群居動物的行為， SBeA 的主要工作有姿態跟蹤 (3D pose tracking) 和行為對映 (social behavior mapping)。
3D 姿態跟蹤：多動物社會行為和身份辨別
3D 姿態跟蹤圖解
3D 姿態跟蹤過程如上圖所示：
首先透過攝像頭陣列對兩隻老鼠進行自由社交行為的影片採集，這一過程分為兩個階段。第一階段專注於捕捉老鼠之間的自由社互動動，而第二階段則旨在識別並記錄這些互動中每隻老鼠的身份，影片採集過程中使用棋盤格影像進行校準。
隨後對採集到的多動物輪廓和單個動物姿態進行詳細標註，輸入多階段人工神經網路對進行分析，輸出結果如圖 d 所示，分為三個部分：
- AI 輸出的影片例項、多動物姿態和多動物身份資訊；
- 結合攝像頭校準引數的影片、姿態和身份資訊的三維重構；
- 帶有身份資訊的三維姿態的視覺化展示。
行為對映：時間、空間的低維表徵
社會行為對映圖解
社會行為對映的過程如上圖所示：
並行分解 (Parallel dynamic decomposition) 兩隻老鼠的原始三維運動軌跡 (Raw 3D trajectories)，將其分解為 locomotion（如走、跑、跳、爬等形式的物理移動）、non-locomotor movement（不涉及整個身體在空間中位置變化的運動，如搖尾巴、耳朵抖動或身體姿態變化），body distance（兩個或多個動物之間的物理距離）。
為了深入瞭解社會行為模組內特徵的分佈，將提取出的 3 個軌跡特徵轉換為空間和時間表徵 (spatial and temporal representations)，空間層面透過在 SBeA 中低維嵌入距離特徵來捕捉（如圖 f 左側），時間層面透過社會行為圖譜表示（如圖 f 右側）。
SBeA的訓練：雙向遷移學習和非監督式學習
雙向遷移學習：不需要標記的多動物身份識別
在動物自由社會行為中，同種動物經常發生遮擋，導致手動標記 (annotations) 身份不精確，為應對這一挑戰，研究人員提出在 SBeA 中使用雙向遷移學習（下圖 a），即已訓練好的多動物分割模型可以遷移到單動物影片上，而已訓練好的單動物身份識別模型也可以遷移到多動物身份識別上，這大大減少了手動標註動物身份的工作量。
雙向遷移學習圖示
使用雙向遷移學習的訓練方式包括：
- 分割模型的複用（圖 b）：利用攝像頭陣列捕捉動物的影片流，使用已訓練好的 VisTR (VIS with transformers) 模型進行單個動物影片例項的分割，從多個角度獲取資料。
- 單動物身份識別模型訓練（圖 c）:對資料進行裁剪、級聯和調整影像大小，使用 EfficientNet 作為 backbone 訓練多動物身份識別模型。
- 多動物分割與3D重投影（圖 d）：對每個攝像頭視角的掩碼進行重投影，對這些資料進行裁剪、級聯並調整影像大小，輸入多動物身份識別模型。
- 身份識別模型的複用（圖 e）：在多動物身份識別中複用已訓練好的單動物身份識別模型。
這一過程涉及複雜的影像處理和資料轉換，從不同視角、不同情境中提取有效資訊，最終預測出動物身份和 3D 姿態的視覺化結果。
為了評估 SBeA 的鑑定效能，研究人員記錄了上述小鼠的自由社交行為，並對遮罩重投影影像和 3D 姿態逐幀進行了人工驗證，結果顯示，雖然有些單隻小鼠的識別精確度較低，但識別成對小鼠的總體精確度可高於 0.85。
多動物身份識別的手動驗證結果
非監督式學習：揭示社會行為結構
在非監督式學習的應用中，演算法不依賴於預先標記或分類的資料，相反，其會試圖直接從資料中發現模式和關係。
在此研究中，非監督式學習透過使用動態時間校準核 (dynamic time alignment kernel, DTAK) 來分解行為的動態結構，利用邏輯加法合併分解時點，將連續的姿態軌跡轉化為離散的社會行為模組，如下圖所示。
使用 PAIR-R24M 資料集對 SBeA 進行監督驗證，結果顯示，該研究成功地量化了社會行為模組的聚類效能，SBeA 可以有效的分類社會行為。
在 PAIR-R24M 資料集上使用 SBeA
SBeA：準確性 + 通用性
SBeA 的準確性：敲除 Shank3B 基因的小鼠行為研究
為探究 SbeA 是否能夠檢測到來自基因層面的社會行為差異，研究人員利用小鼠進行實驗。被敲除 Shank3B 基因的小鼠表現出個體自閉行為，但是現有技術的侷限讓我們難以完全理解它們異常的自由社會行為。透過 SBeA 分析，研究團隊發現基因敲除小鼠 (Shank3B knockout, KO) 與正常小鼠 (wild-type,WT) 在社會行為方面存在顯著差異。
實驗小鼠共三組：KO-KO、WT-WT、WT-KO。結果如下圖所示，WT-WT 組有更靈活的社會行為，KO-KO 組比 WT-WT 組顯示更多的異常社會行為，WT-KO 組比 WT-WT 組顯示更密切的社會互動。
三組小鼠的社會行為圖示
同時利用 SBeA 識別區分 KO 和 WT 小鼠微妙的社會行為模組 (subtle social behaviour modules)，透過聚類分析，這些模組合併為 9 種主要的社會行為，包括蜷縮不動、探索行為、同伴嗅探和獨立梳理等。
9 種主要社會行為
三組的社會行為如下：
行為聚類分析
WT-WT 組（綠色）表現出更多的同種異體調節 (allogrooming) 行為和探索 (exploring) 行為，體現了親社會性 (prosocial)。
KO-KO 組（橙色）表現出較多異常社會行為、較低的運動能力和社交新穎性，這些異常行為可能是反社會 (antisocial) 行為的表徵。
WT-KO 組（紫色）中觀察到的社會行為主要是同伴嗅探和獨立梳理。同伴嗅探在好奇心強的 WT 小鼠中更常見，獨立梳理可能是 KO 小鼠對 WT 小鼠的模仿行為。
這一結果表示 SBeA 不僅可以區分基因突變動物的社會行為，還能確定遺傳突變相關的微妙社會行為模組。
SBeA 的通用性：不同物種、不同環境下的分析
為評估 SBeA 在不同動物種類和實驗設定下的通用性，研究團隊利用鳥類和犬類開展研究。
圖 a-d：SBeA 在鳥類的使用
圖 e-h：SBeA 在犬類的使用
為提高 SBeA 的測試難度，實驗中動物外觀儘可能相似。將鳥類和犬類資料對映到社會行為圖譜上，研究識別出鳥類和犬類分別對應的 34 種和 15 種社會行為類別（圖 c、g），並在 3D 中視覺化了它們的典型案例（圖 d、h）。
結果顯示，SBeA 對鳥類的 3D 姿態跟蹤能識別其爪子觸碰尾羽的動作，對犬類的 3D 姿態跟蹤能應對臥姿等遮擋情況。
SBeA 的優勢：少樣本學習框架 (a few-shot learning framework)
2021 年，深圳先進院蔚鵬飛團隊歷時兩年，利用自主研發的行為採集裝置，能夠獲取動物三維立體的運動姿態，並根據動物行為類似語言一樣的層次結構，提出了一種層次化動物行為分解模型，將連續、複雜的行為簡化為可以被人們理解的動作模組。該研究已在自閉症模型小鼠進行了行為鑑定，成功實現在亞秒級自動精確識別其特徵性的行為異常。
本文中的 SBeA 架構正是對 2021 年提出一類通用動物三維行為圖譜框架「Behavior Atlas」的進一步擴充，對動物社會行為進行分類。
SBeA 使用的少樣本學習框架，僅需要相對較少的手動標註幀來進行多動物3D姿態估計，實現了無標籤的身份識別和應用無監督學習進行社會行為分類。這樣的資料生成策略減少了對大規模、廣泛標註資料集的依賴，進而應用於更大量的未標註資料。
透過遷移學習（利用在大型資料集上預訓練的模型，然後對其進行微調，以適應特定任務的小型資料集）、資料增強（裁剪、旋轉或顏色調整等技術從現有資料中生成新資料點，以增加訓練資料集的大小）等方式開展的少樣本學習框架具有強大的潛力，在人工智慧研究中正變得越來越受歡迎。
參考資料：
1.https://www.nature.com/articles/s42256-023-00776-5
2.https://www.siat.ac.cn/kyjz2016/202401/t20240109_6952837.html