2023 SDC 議題預告 | 從邏輯計算到神經計算：針對LLM角色扮演攻擊的威脅分析以及防禦實踐

2023 SDC 議題搶先看

01 議題前瞻

從邏輯計算到神經計算：針對LLM角色扮演攻擊的威脅分析以及防禦實踐

以GPT-4為代表的大型語言模型（LLM）給社會帶來了革命性的變革，安全方面也不例外。筆者在研究LLM安全過程中，有些繞不過、無法不去思考的問題：

1) 導致LLM有如此能力和潛力的本質原因是什麼？

2) 為什麼LLM 輸入與輸出之間有如不同以往的特性？

3) 這些改變對於網路安全意味著什麼？

經過對於學術界、工業界最新研究成果的學習、研究，筆者找到一個可能的答案是：從邏輯計算到神經計算的底層計算正規化轉移是本質原因之一。從邏輯計算到神經計算的轉變導致對於絕大多數企業和個人，他們需要更關注LLM的輸入輸出，一定程度需要弱化對於LLM內部可解釋性的深入研究。而這導致prompt安全成為未來的重點之一。

本報告包含如下內容：

• 深度神經網路帶來變革的可能的本質原因之一的分析：從形式邏輯計算到神經計算；

• 結合當前與未來基於LLM構建應用的體系的分析，對其進行較全面威脅建模；

• 對於prompt越獄的多維風險進行了分析，並進一步聚焦到LLM角色扮演攻擊，筆者進行了較深入的威脅分析，實測該類攻擊能以近50%機率突破GPT3.5模型。

結合LLM技術原理、prompt工程和微調技術，筆者提出在2個關鍵防禦點上透過3種防禦方案進行防禦的框架。實驗資料顯示，這些方案能有效降低LLM角色扮演攻擊的成功率高達90%。

LLM使得網路安全變得更復雜、風險更大，未來的攻防博弈也會更智慧、更殘酷。最後，筆者展望了未來在LLM prompt安全研究方向上的思考，特別是從自動對抗到智慧對抗的轉變。

02 演講嘉賓

張棟-vivo安全研究員

目前專注AIGC安全研究，曾任職某通訊網路集團、某金融集團，從事網路安全與隱私保護研究工作。

聽眾收穫

1、對LLM在網路安全方面的影響有更深入的瞭解，特別是其輸入和輸出的重要性。

2、掌握了一套全面的威脅建模方法，可以應用於自己的網路安全分析。

3、獲得了實用的防禦方案和框架，可以直接應用於減少LLM相關的安全風險。

4、對未來網路安全的攻防趨勢有更全面的認識，特別是從自動對抗到智慧對抗的轉變。

掃碼報名參會

更多議題細節，歡迎來 SDC 現場聆聽