權威政府和犯罪團伙正在爭先恐後地利用人工智慧增添其網路攻擊的能力，這些攻擊可能會開啟守護我們最敏感機密和最重要基礎設施的大門–這將增加醫院、學校、城市和企業的危險，因為它們已經經常成為駭客欺詐性電子郵件的犧牲品，而駭客還會繼續製造混亂。

隨著技術的不斷髮展，人們越來越擔心大型語言模型（LLM）（如 ChatGPT）被用於犯罪目的的可能性。人工智慧將大大提高網路釣魚郵件的成功率，這是駭客入侵人們的計算機、電子郵件賬戶和公司伺服器的最具破壞性的有效技術。目前，90% 以上的網路攻擊都是從網路釣魚資訊開始的，它們偽裝成來自朋友、家人或商業夥伴的合法通訊，誘騙人們在虛假登入頁面上輸入密碼或下載惡意軟體，從而竊取資料或監視他們。透過利用人工智慧的文字生成和資料分析能力，駭客將能夠傳送更有說服力的網路釣魚資訊，誘騙更多受害者，造成難以計數的損失。

地下社群對 LLM 抱有極大的興趣，惡意 LLM 產品也將隨之出現。一個名為 last/laste 的未知開發者建立了自己的 ChatGPT LLM 聊天機器人，旨在幫助網路犯罪分子： WormGPT。WormGPT 誕生於 2021 年 3 月，直到 6 月，開發者才開始在一個流行的駭客論壇上出售該平臺的訪問許可權。與 ChatGPT 等主流 LLM 不同，這個駭客聊天機器人沒有任何限制，無法回答有關非法活動的問題。聊天機器人的建立平臺是 2021 年推出的相對過時的開源大型 GPT-J 語言模型。聊天機器人接受了惡意軟體開發相關材料的培訓，這就是 WormGPT 的誕生過程。開發人員估計，訪問 WormGPT 的費用為每月 60 歐元至 100 歐元，或每年 550 歐元。

專家認為，俄羅斯等威權國家正在研究人工智慧的惡意用途，包括用於網路釣魚。而在地下犯罪組織中，有才華的開發者已經在構建和出售定製人工智慧平臺的訪問許可權，如 WormGPT（可生成令人信服的網路釣魚資訊）和 FraudGPT（可建立虛假網站以支援網路釣魚活動）。

網路公司 Trustwave 高階安全研究經理菲爾-海伊（Phil Hay）說：”我們完全可以預見，攻擊者將越來越多地利用人工智慧來建立他們的網路釣魚活動。”

網路釣魚領域這場迫在眉睫的革命–由同樣的技術驅動–已經讓使用者眼花繚亂，因為這種技術能夠在幾秒鐘內撰寫論文並製作出假肖像–讓一些網路安全專家感到震驚，他們擔心即將出現的惡意資訊會過於複雜，大多數人都無法識別。

聯邦網路安全和基礎設施安全域性網路部門前負責人布賴恩-瓦爾（Bryan Ware）說：”如果人工智慧像我們現在談論的那樣起飛，那麼網路釣魚的企圖將變得越來越嚴重，越來越難以防範，也越來越難以發現。”
如果犯罪分子擁有自己的類似 ChatGPT 的工具，那麼對網路安全、社交工程和整體數字安全的影響將是巨大的。這一前景凸顯了我們在努力確保人工智慧技術安全和負責任地開發人工智慧技術時保持警惕的重要性，以降低潛在風險並防止濫用。