Manning、陳丹琦講座，2021史丹佛CS224N即將開課

机器之心發表於2021-01-11

史丹佛大學 CS224N 深度學習自然語言處理 2021 冬季課程即將開課！


自然語言處理（NLP）或者計算語言學是資訊時代最重要的技術之一。從網路搜尋、廣告、電子郵件到客戶服務、語言翻譯、虛擬代理、醫療報告等，NLP 的應用幾乎無處不在。近年來，深度學習（或神經網路）在許多 NLP 任務上達到了非常高的效能，使用單個端到端神經模型就能完成許多工，不再需要特定於任務的特徵工程。

而提及入門自然語言處理，想必大家都非常熟悉史丹佛大學的公開課 CS224N，它與計算機視覺方面的課程 CS231n 堪稱絕配。CS224N 是一門關於自然語言處理的專項課程，非常系統地介紹自然語言處理任務等相關知識。

機器之心介紹過 CS224N 2019 冬季課程，重點講解了 Transformer 和預訓練表徵。今日，史丹佛 NLP Group 宣佈 CS224N 深度學習自然語言處理 2021 冬季課程將於當地時間 1 月 12 日開課，授課講師為史丹佛大學教授 Christopher Manning 以及他的三年級博士生 John Hewitt。

Manning、陳丹琦講座，2021史丹佛CS224N即將開課

課程連結：http://web.stanford.edu/class/cs224n/

該課程全面介紹了 NLP 深度學習的前沿研究。透過講座、作業和結課專案，學生將學到設計、實現和理解各自的神經網路模型等必要技能。本年度的 CS224n 課程依然使用 PyTorch 授課。

不過遺憾的是，CS224N 2021 冬季課程影片只對註冊學生開放，課程 PPT 和作業會在網上實時更新。

預備知識

熟練使用 Python：所有課程都需要用到 Python（具體來說，使用 NumPy 和 PyTorch）。如果需要重溫一下 Python 的內容或者熟悉 NumPy，學生可以學習第一週的 Python 複習部分。

大學微積分和線性代數：該課程的學生應該掌握（多變數）導數、矩陣 / 向量符號和運算的知識。

機率論與統計的基本知識：該課程的學生應該瞭解機率、高斯分佈、均值、標準差等知識。

機器學習的基礎知識：模型構建過程涉及設計代價函式（cost function）、求導數並透過梯度下降進行最佳化。如果你已經掌握了機器學習或深度學習的基礎知識，這門課程的學習將變得容易很多。

課程安排

2021 年 CS224N 冬季課程將於 1 月 12 日正式開課，並於 3 月 18 日結束。課程 PPT 將於每節課之前提供，課堂筆記則通常在課程結束後幾天上傳。

在 1 月份的課程安排中，學生將學習到詞向量、Gensim 詞向量示例、 詞視窗分類、Python 知識回顧、反向傳播和神經網路、依存句法分析、PyTorch 知識回顧、梯度消失、Fancy 迴圈神經網路和 Seq2Seq 等。

Manning、陳丹琦講座，2021史丹佛CS224N即將開課

1 月部分授課內容。

在 2 月份的課程安排中，學生將學習到機器翻譯、注意力、子詞模型、Transformer 和預訓練、問答系統（陳丹琦）、自然語言生成、模型分析與解釋以及 T5 和大型語言模型等。

Manning、陳丹琦講座，2021史丹佛CS224N即將開課

在 3 月份的課程安排中，學生將學習到卷積神經網路（ConvNet）、基於樹形結構的 RNN、深度學習中選區解析和語言結構扮演的角色、語言模型中的知識整合、安全 & 倫理 & 偏見以及 NLP 和深度學習的未來發展等。

Manning、陳丹琦講座，2021史丹佛CS224N即將開課

講師介紹

Manning、陳丹琦講座，2021史丹佛CS224N即將開課

Christopher Manning 於 1989 年在澳大利亞國立大學取得三個學士學位（數學、計算機和語言學），並於 1994 年獲得史丹佛大學語言學博士學位。他曾先後在卡內基梅隆大學、悉尼大學等任教，1999 年回到母校史丹佛，就職於電腦科學和語言學系，是史丹佛自然語言處理組（Stanford NLP Group）的創始成員及負責人。

Manning 的研究目標是以智慧的方式實現人類語言的處理、理解及生成，研究領域包括樹形 RNN 、情感分析、基於神經網路的依存句法分析、神經機器翻譯和深度語言理解等，是 NLP 領域的深度學習開拓者。他是國際計算機學會 (ACM)、國際人工智協會（AAAI）和國際計算語言學會（ACL）等國際權威學術組織的 Fellow，曾獲 ACL、EMNLP、COLING、CHI 等國際頂會最佳論文獎，並著有《統計自然語言處理基礎》、《資訊檢索導論》等自然語言處理著名教材。

Manning、陳丹琦講座，2021史丹佛CS224N即將開課

John Hewitt 是史丹佛大學電腦科學專業博士三年級的學生，目前從事自然語言處理方面的研究，師從 Manning 和 Percy Liang。John Hewitt 曾獲 NSF 研究生獎學金（NSF Graduate Research Fellowship），2020 年秋季他在 Google AI 任研究型實習生。

John Hewitt 的研究興趣是設計一種能夠有效學習理解人類語言的系統，最終促進人類的交流和教育。

相關文章