學習到底是什麼？
人類對於學習的認知往往受制於我們的感知能力和衡量標準，這也是為何千年以來人類學習的進化速度異常的緩慢。
然而，現代多模態感測資料的處理能力日新月異，透過在實際的教育過程收集到的學生生理訊號、言語表達、面部表情、姿勢等多模態資料，科學家們正在以一種新的視角重新審視和理解學習。
中國教育行業正在經歷一場以資料和人工智慧為核心的技術變革，這也是為何在今年8月10日-16日於澳門舉辦的國際人工智慧聯合會議上（IJCAI）上，圍繞多模態資料分析和智慧教育的研討會AIMA4EDU受到了業內極大的關注。
AIMA4EDU，全稱為“基於人工智慧的多模態分析用於理解現實世界教育環境中的人類學習”，由中國人工智慧教育獨角獸乂學教育-松鼠AI聯合舉辦，8月11日舉辦為期一天。研討會除了頒發最佳論文和最佳學生論文之外，還邀請了來自加州伯克利大學、孟菲斯大學和松鼠AI的專家，分享他們基於多模態資料的教育前沿研究。
明年的AIMA4EDU研討會將與IJCAI 2020一起在日本橫濱舉辦。
最佳論文
獲得最佳論文的是來自荷蘭開放大學和德國萊布尼茨教育研究和資訊研究所的“Multimodal Pipeline: A generic approach for handling multimodal data for supporting learning（多模態工作流：用於處理多模態資料以支援學習的通用方法）”。
多模態工作流是一種用於支援學習的多模態資料的收集、儲存、註釋、處理和利用的方法。 在目前的發展階段，多模態工作流由兩個相關的原型組成：1）多模態學習中心，用於收集和儲存來自多個應用程式的感測器資料；2）視覺化檢查工具，用於視覺化和記錄所記錄的會話。 多模態工作流可用於支援各種學習場景，如演示技巧、患者人體模型的醫學模擬等，可以提供不同的支援策略，包括檢測錯誤，並在智慧輔導系統中提示實時反饋，或透過學習分析儀表板激勵自我反省。論文連結在此。
最佳學生論文
獲得最佳學生論文的是來自新南威爾士大學研究團隊的“Deep Multi-agent Attentional Learning for Cognitive Attention Analysis in Educational Context（深層多智慧體學習在教育語境中的認知注意力分析）”。
感測系統的最新發展允許連續產生大量感測資料，這使得複雜的學習成為可能。為了應對日益增長的對教育問題的關注，本文將學生的EEG訊號與教育背景下的認知注意狀態聯絡起來。研究團隊考慮人類關注的兩個固有特徵，即空間 - 時間上不同的特徵顯著性和個體特徵之間的關係。 基於這些，本文提出了一種多智慧體時空關注模型。時空關注機制有助於智慧地選擇資訊渠道及其活躍期。 並且所提出的模型中的多個智慧體表示具有集體全域性選擇的單個特徵的生理現象。 透過共同目標，智慧體共享獲得的資訊並協調他們的選擇策略以學習最佳的注意力分析模型。論文連結在此。
以下是大會演講的亮點彙總：
孟菲斯大學Frank Andrasik：關於神經反饋治療自閉症譜系障礙的方法論思考
Andrasik博士目前擔任田納西州孟菲斯大學心理學系行為醫學中心的傑出教授、主席和主任。他在1979年獲得俄亥俄大學臨床心理學博士學位，至今發表過大約270篇文章，並發表了大量演講。Andrasik博士同時還是心理學家，以及Applied Psychophysiology和Biofeedback兩份刊物的主編。
Andrasik博士的演講討論了神經反饋（Neurofeedback）在治療自閉症譜系障礙患者（Autism Spectrum Disorder，簡稱ASD）的方法論。ASD簡單而言就是自閉症，但是一個更廣義上的醫學名詞。
腦神經反饋訓練則是目前一種比較新穎的治療手段，透過檢測患者的腦波活動狀態，針對大腦薄弱的區域透過特殊的手段鍛鍊大腦神經。在過去三年，這項技術呈現井噴式增長，並且開始大量用於商業化，位於佛羅里達的Neurocore是目前美國最大的神經反饋服務供應商之一，美國教育部長貝齊·德沃斯（Betsy DeVos）擁有該公司的部分股權。
儘管神經反饋的發展迅猛，但Andrasik博士列舉了該治療技術在過去幾年出現的問題：比如安慰劑效應，忽略了衡量維度，缺乏長期跟蹤患者狀態的機制。
神經反饋公司誇大的宣傳也是行業的普遍現象：美國聯邦貿易委員會指控Lumos遊戲的建立者Lumos Labs欺騙消費者，毫無根據地聲稱他們的遊戲可以幫助患者在工作和學校中表現更好，並減少或延遲與年齡和其他嚴重健康狀況相關的認知障礙。
那麼該如何推動這個行業前進？Andrasik博士總結了七個方向：
- DSM-5提高診斷精度。DSM-5是美國精神疾病診斷與統計手冊第五版，把當代人們所有因為情緒控制不當和各種奇葩的病症列為各類輕~重型精神病；
- 認識到皮質缺乏不是症狀的唯一原因。 外周生理活動、例如心率及其變異性，與神經生理學訊號密切相關，並與社會參與度有關；
- 確定反應的預測因素，治療可能需要40-80個療程；
- 利用非接觸式電容式EEG電極，基於近紅外光譜（NIRS）的感測器，可穿戴式頭盔裝置等，在最需要的環境中每天練習；
- 加強對治療機制的關注；
- 利用機器學習方法；
- 關注在真實環境而不是實驗室環境中的功效。
松鼠AI 首席架構師、Richard Tong：基於智慧體的自適應教學系統設計框架
松鼠AI首席架構師Richard Tong曾擔任過Knewton的大中華區負責人和Amplify Education的解決方案架構總監，除此之外，他還是IEEE AIS（自適應教學系統）標準工作組成員以及互操作性小組的主席（IEEE 2247.2）。
Richard Tong介紹了松鼠AI建立自適應教學系統框架的初衷和細節。他認為，阻擋優質教育的普及和規模化的最大障礙來自於三點：成本、可行性、系統慣性。基於此，松鼠AI堅信教育方法需要重新定義：
- 每個學生都不同，任何基於團隊的教學都不能有效地利用學生的時間；
- AI現在可以提供大規模的連續自適應一對一體驗；
- 人類教師（教練）應提供有針對性的、社會的和具有動機的個人支援。
那為什麼教育需要一個基於智慧體的框架？Richard 認為，一個智慧體框架能設計出更好的教育過程：
- 智慧體更好地瞭解整個教育過程和產品，學習的關鍵條件可以在智慧體框架中得到很好的體現，包括學習的準備、學習能力、以及學習環境；
- 智慧體框架是一個發生學習的自然框架，可以更好地幫助學生學習科學，擁有更好的可解釋性和人機介面設計；
- 更好地智慧體設計可以更好地設計教育系統，智慧體的水平應主要透過智慧體改善學習成果的能力來衡量，而不是透過實施方法的複雜程度來衡量
Richard 簡單介紹了松鼠AI自適應教學系統的設計框架，主要由三部分組成：一個教學智慧體，學習擁有本體層、感測器、資源和工具；一個複合模型，包含領域模型、學習模型、互動模型；以及一個教學模型，可以看成是一個強化學習的策略，有行為、規則、和獎勵函式。
在整個框架下，松鼠AI設計了四種智慧體：外環智慧體、內環智慧體、伴侶智慧體、模擬學生智慧體。
需要著重瞭解的是這個外環-內環框架機制，也可以理解宏觀-微觀適應性架構。外環智慧體會遍歷一個動態的任務序列，結合本體層的學習地圖和內容地圖以及演算法層的學生畫像、知識狀態評估、推薦引擎，為學生選定合適的任務進行學習。
內環智慧體則是獲得一個動態的學習行為，遍歷學習一個任務的不同步驟，架構類似但不同的模組更加細分。這使得松鼠AI的系統真正具有適應性 - 不僅可以提供有關任務的反饋，還可以提供各個步驟的反饋。將兩者結合之後得到的智慧體學習行為，會儲存在LRS中作為智慧體先前的學習歷史。
Richard也列舉了目前依然遇到的挑戰，比如：智慧體之間的交流、本體層、感測資訊的融合、以及上下文資訊的同步。松鼠AI的下一步是進行更多的聯合研究，目前已經和卡內基梅隆大學以及史丹佛大學達成聯合研究的專案；做更多的參考設計和實驗；標準化系統之間的智慧體介面和其他元件。
松鼠AI KP Thai：用於多模態教學和學習分析的大規模資料集
松鼠AI的高階學習和資料科學家KP Thai博士主要介紹了松鼠AI研究團隊的最新成果：一個用於多模態教學和學習分析的大規模資料集MULTA。
Thai博士介紹稱，搭建這個資料的原因是高頻多模態資料採集技術和AI/ML分析技術的進步可以為學習提供新的見解，但目前公開的可用的資料集並不多，尤其是來自現實世界的學習環境、松鼠AI希望透過釋出資料集以幫助探索多模態學習分析和資料探勘，促進教學和學習的進步。
松鼠AI收集了來自兩個課後學習中心的156名中學生的資料，他們參與了5個科目：數學、英語（語法和閱讀）、中文、物理、化學。在五週的時間裡，學生們被要求佩戴腦波耳機並進行錄影。
在學習過程中，松鼠AI收集了其系統上的使用者記錄、腦電波（使用BrainCo的腦電圖頭帶）、以及網路攝像頭影片（透過Debut影片錄製軟體的網路攝像頭）。研究團隊將腦電波和網路攝像頭影片同步到使用者記錄上，根據時間同步三個資料來源，基於不同的問題分割腦波和網路攝像頭影片資料。
資料集目前還存在一些不足，比如資料收集過程並未如同設想的一致，導致可用資料少於預期
網路攝像頭和腦波資料的長度與課程長度不同，網路攝像頭沒有正確設定等等。
未來，松鼠AI將最佳化資料收集和準備過程，繼續收集資料，尋求多模態之間同步的工具，並更好地理解腦電波的特徵表示。
後文將對其餘演講者的內容做簡單介紹：
來自新南威爾士大學的研究團隊介紹了他們的最新論文“On Using EEG Signals for Human Attention Estimation（用EEG訊號進行人體注意力估計）”。EEG訊號是估計人類注意力的主要媒介。當前的EEG研究通常需要針對不同受試者的適應步驟，然後腦計介面經過調整後才能用在新的實驗者身上，這會耗費大量的時間和人力。研究者提出了卷積遞迴注意模型（CRAM），利用卷積神經網路編碼腦電訊號的高階表示和反覆注意機制，以探索腦電訊號的時間動態，並專注於最具辨別力的時間週期。
來自北京交通大學和北京師範大學的研究團隊介紹了他們的最新論文“Understanding Schoolchildren Test Anxiety through Online Writing Analysis（透過線上寫作分析瞭解學童考試焦慮）”。如何科學有效地判斷學生是否有考試焦慮，從而及時給予幫助是一個值得關注的研究 課題。與高成本的自我報告相比，本文的研究試圖透過分析線上寫作來了解考試焦慮的表現並預測個體考試焦慮的程度。研究發現考試焦慮與一些寫作習慣有關，例如易用詞的使用頻率和猜測詞的使用型別。 透過應用機器學習技術，建立並評估基於線上書寫資料的考試焦慮預測模型。 隨機森林迴歸器目前實現了最佳效能。
來自悉尼科技大學、南京航空航天大學、和北京化工大學的研究團隊介紹了他們的最新論文“Student Sentiment Analysis Through Students’ Assignments（透過學生作業分析學生情緒）”。學生情緒分析對學生管理學習和生活至關重要。為了解決這個問題，本文提出了一個分層的學生情緒分析框架來分析學生的作業情緒。 該框架包括兩個流：參考流和學生語句流，它們能夠從引號和引用中分析部分學生情緒。 實驗結果證明這個框架在大學生作業資料集方面優於其他競爭對手。
來自悉尼科技大學和蒙納士大學的研究團隊介紹了他們的最新論文“Universal Graph Embedding for Heterogeneous Study-trajectory Graph（用於異構研究軌跡圖的通用圖嵌入）”。當前的學習興趣發現方法使用單個時間序列單調地模擬每個學生的學習軌跡，忽略了學生和課程之間的相互依賴性。 本文中將學生和課程構建為研究軌跡圖中的異構節點源，並提出了一種通用圖嵌入框架（UGE）來同時捕獲同質節點之間的相互關係以及異構節點之間的相互依賴性。