大家好啊，我是董董燦。
前段時間鬧得沸沸揚揚的位元組大模型“投毒案”的主角——實習生田同學，在被位元組起訴背上了官司之後，竟然拿下了 NeurIPS 2024 最佳論文獎。
而這篇獲獎的論文，就是他在位元組實習期間與團隊合作發表的。
據說這篇論文在同行評審中獲得了極高的評價，是國內第二篇獲得 NeurIPS 最佳論文的研究，含金量非常高。
可以說是：田同學和位元組，一邊互相掐架，一邊聯手獲獎，有點狗血。
我們回顧下“投毒案”是怎麼回事。
我查了一些資料，大概是兩個月前，這位北大實習生田同學在位元組實習期間，因為對團隊感到不滿，選擇了“投毒”。
他利用了 Huggingface 的一個函式漏洞，偽裝了一個看似正常的檔案，遠端執行程式碼，篡改模型訓練引數。
據說這種攻擊方式可以讓大模型在載入權重時篡改權重的值、改變訓練引數等。
當時有人還分析了他的“投毒”機制：大概是透過修改模型的最佳化器，篡改了引數的梯度方向，甚至隨機讓模型在訓練過程中sleep（休眠），從而大大降低模型的訓練速度。
模型在訓練過程中梯度被修改了，這意味著什麼我想很多同學都非常清楚——
反向傳播傳遞過來的梯度被修改，模型想訓練都訓練不出來，白白浪費時間和 GPU 資源。
在這件事被發現後，田同學就被辭退了，隨後位元組一紙訴狀將田同學告到了法院，除了賠償還要公開賠禮道歉。
這就是這件投毒案的來由。
只是沒想到的是，時隔不久，田同學和位元組發的論文獲得了 NeurIPS 2024 最佳論文獎，也算是活久見了。
論學術能力，田同學肯定沒問題，在學術方面非常的牛，但是那種“投毒”的行為，放眼全球都是炸裂的存在。
不得不感慨，“天才”與“惡魔”，有時往往真的只在一念之間。
如果你想學習 AI ，歡迎來新增我的微信 (vx: ddcsggcs），會有很多好玩的AI技術分享，可以諮詢、也可以圍觀朋友圈呀！歡迎檢視我的專欄 >>1. 專欄：計算機視覺入門與調優 , 2. 專欄：Transformer 通關與大模型實戰