ChatGPT 自去年年底發(fā)布以來(lái)，在全球范圍都引起了轟動(dòng)。但 ChatGPT 在消費(fèi)者和 IT 專業(yè)人士中的受歡迎程度同時(shí)也激起了系統(tǒng)漏洞被利用的網(wǎng)絡(luò)安全噩夢(mèng)。網(wǎng)絡(luò)安全專家已經(jīng)證明，問(wèn)題的關(guān)鍵點(diǎn)在于 ChatGPT 和其他大型語(yǔ)言模型（LLM）生成多態(tài)或變異代碼以規(guī)避端點(diǎn)檢測(cè)和響應(yīng)(EDR)系統(tǒng)的能力。

最近的一系列概念驗(yàn)證攻擊展示了如何創(chuàng)建一個(gè)看似良性的可執(zhí)行文件，以便在運(yùn)行時(shí)，它能對(duì)ChatGPT進(jìn)行 API 調(diào)用。除了復(fù)制已經(jīng)編寫(xiě)的代碼片段的示例，ChatGPT 還可以在提示下生成惡意代碼的動(dòng)態(tài)、變異版本，從而使網(wǎng)絡(luò)安全工具難以檢測(cè)到由此產(chǎn)生的漏洞利用。

(相關(guān)資料圖)

“ChatGPT 降低了黑客的標(biāo)準(zhǔn)，使用 AI 模型的惡意行為者可被視為現(xiàn)代的‘腳本小子’?！本W(wǎng)絡(luò)安全公司 GitGuardian 的開(kāi)發(fā)人員 MackenzieJackson 表示，“ChatGPT 被欺騙生產(chǎn)惡意軟件并不算具有開(kāi)創(chuàng)性，但隨著模型變得更好，更多的樣本數(shù)據(jù)被消耗以及不同的產(chǎn)品進(jìn)入市場(chǎng)，人工智能最終創(chuàng)建出的惡意軟件，可能只能被其他用于防御的人工智能系統(tǒng)檢測(cè)到。誰(shuí)也不知道這場(chǎng)比賽哪一方會(huì)贏?！?/p>提示繞過(guò)過(guò)濾器以創(chuàng)建惡意代碼

ChatGPT 和其他 LLM 具有內(nèi)容過(guò)濾器，可以禁止它們服從一些命令或者提示生成有害內(nèi)容，例如惡意代碼。但是內(nèi)容過(guò)濾器可以被繞過(guò)。

幾乎所有被報(bào)道的通過(guò) ChatGPT 完成的漏洞利用都是通過(guò)所謂的“提示工程”實(shí)現(xiàn)的，即修改輸入提示以繞過(guò)工具的內(nèi)容過(guò)濾器并檢索所需輸出的做法。例如，早期用戶發(fā)現(xiàn)，他們可以讓 ChatGPT 創(chuàng)建它不應(yīng)該創(chuàng)建的內(nèi)容——通過(guò)“越獄”程序，即在提示框創(chuàng)建假定情景，例如在要求它做某事時(shí)，假設(shè)它不是人工智能，而是一個(gè)意圖造成傷害的惡意人員。

“ChatGPT 對(duì)系統(tǒng)制定了一些限制，例如過(guò)濾器限制了 ChatGPT 通過(guò)評(píng)估問(wèn)題上下文提供答案的范圍，”專注于 Kubernetes 的網(wǎng)絡(luò)安全公司 KSOC 的安全研究主管 AndrewJosephides 說(shuō)，“如果你要求 ChatGPT 給你寫(xiě)一個(gè)惡意代碼，它會(huì)拒絕這個(gè)請(qǐng)求。如果你要求 ChatGPT 編寫(xiě)能夠有效執(zhí)行你打算實(shí)現(xiàn)的惡意功能的代碼，ChatGPT 可能會(huì)為你構(gòu)建該代碼。”

Josephides 認(rèn)為，每次更新，ChatGPT 都變得更加難以成為惡意軟件，但隨著不同的模型和產(chǎn)品進(jìn)入市場(chǎng)，要防止 LLM 被用于惡意目的，我們不能只依靠?jī)?nèi)容過(guò)濾器。

誘使 ChatGPT 利用它被過(guò)濾器封閉的能力可能會(huì)為一些用戶生成有效的惡意代碼。并且運(yùn)用 ChatGPT 修改和微調(diào)結(jié)果還可以使代碼呈現(xiàn)多態(tài)性。

例如，一個(gè)看起來(lái)無(wú)害的 Python 可執(zhí)行文件可以生成一個(gè)查詢發(fā)送到 ChatGPT API，以便在每次運(yùn)行該可執(zhí)行文件時(shí)處理不同版本的惡意代碼。這樣，惡意操作就會(huì)在 exec ()函數(shù)之外執(zhí)行。這項(xiàng)技術(shù)如果用來(lái)生成一個(gè)變異、多態(tài)的惡意軟件程序，將難以被威脅掃描儀檢測(cè)到。

多態(tài)惡意軟件的現(xiàn)有概念證明

今年早些時(shí)候，威脅檢測(cè)公司 HYAS InfoSec 的首席安全工程師Jeff Sims 發(fā)表了一份概念驗(yàn)證白皮書(shū)，為這種漏洞提供了一個(gè)工作模型。他演示了如何在運(yùn)行時(shí)使用提示工程和查詢 ChatGPT API 來(lái)構(gòu)建多態(tài)鍵盤(pán)記錄器有效負(fù)載，稱之為 BlackMamba。

實(shí)際上，BlackMamba 是一個(gè) Python 可執(zhí)行文件，它提示 ChatGPT 的 API 構(gòu)建一個(gè)惡意的鍵盤(pán)記錄器，該鍵盤(pán)記錄器在運(yùn)行時(shí)使每個(gè)調(diào)用進(jìn)行變異，使其具有多態(tài)性，并規(guī)避端點(diǎn)和響應(yīng)(EDR)過(guò)濾器。

“Python 的 exec（）函數(shù)是一個(gè)內(nèi)置功能，允許你在運(yùn)行時(shí)動(dòng)態(tài)執(zhí)行Python 代碼，”Sims 說(shuō)，“它獲取一個(gè)字符串，其中包含要作為輸入執(zhí)行的代碼，然后執(zhí)行該代碼。Exec()函數(shù)通常用于動(dòng)態(tài)修改程序，這意味著可以通過(guò)在程序運(yùn)行時(shí)執(zhí)行新代碼來(lái)改變運(yùn)行程序的行為?！?/p>

在BlackMamba 的背景下，“在產(chǎn)生生成響應(yīng)時(shí)，多態(tài)性的上限受到提示工程師的創(chuàng)造力（輸入的創(chuàng)造力）和模型訓(xùn)練數(shù)據(jù)的質(zhì)量的限制?！盨ims 說(shuō)。

在BlackMamba 概念驗(yàn)證中，在收集擊鍵后，數(shù)據(jù)通過(guò) web hook（一種基于 HTTP 的回調(diào)函數(shù)，允許 API 之間進(jìn)行事件驅(qū)動(dòng)的通信）提取到微軟團(tuán)隊(duì)的一個(gè)頻道。據(jù)西姆斯說(shuō)，BlackMamba 多次回避了一個(gè)“行業(yè)領(lǐng)先”的 EDR 應(yīng)用程序。

網(wǎng)絡(luò)安全公司 CyberArk 的 Eran Shimony 和 Omer Tsarfati 創(chuàng)建了一個(gè)單獨(dú)的概念驗(yàn)證程序，在惡意軟件中使用了 ChatGPT。該惡意軟件包括“一個(gè) Python 解釋器，它定期查詢 ChatGPT，尋找執(zhí)行惡意行為的新模塊，”Shimony 和 Tsarfati 在一篇解釋概念驗(yàn)證的博客中寫(xiě)道?！巴ㄟ^(guò)從 ChatGPT 請(qǐng)求特定功能，如代碼注入、文件加密或持久性，我們可以很容易地獲得新代碼或修改現(xiàn)有代碼?！?/p>

與黑曼巴不同，ChattyCat 并不是針對(duì)特定類型的惡意軟件，但它提供了一個(gè)模板來(lái)構(gòu)建各種各樣的惡意軟件，包括勒索軟件和信息竊取程序。

“我們的POC，ChattyCaty，是一個(gè)開(kāi)源項(xiàng)目，演示了使用 GPT 模型創(chuàng)建多態(tài)程序的基礎(chǔ)設(shè)施，”Tsarfati 說(shuō)，“多態(tài)性可用于逃避防病毒/惡意軟件程序的檢測(cè)?！?/p>

Shimony 和 Tsarfati 還發(fā)現(xiàn)，與最初的在線版本相比，ChatGPT API 中的內(nèi)容過(guò)濾器似乎更弱了。

“有趣的是，在使用API 時(shí)，ChatGPT系統(tǒng)似乎沒(méi)有利用其內(nèi)容過(guò)濾器。目前還不清楚為什么會(huì)這樣，但它使我們的任務(wù)變得更加容易，因?yàn)榫W(wǎng)絡(luò)版本往往會(huì)陷入更復(fù)雜的請(qǐng)求?！盨himony 和 Tsarfati 在他們的博客中寫(xiě)道。

監(jiān)管 AI 以提高安全性

盡管世界各國(guó)政府都在努力解決如何監(jiān)管人工智能以防止傷害的問(wèn)題，但中國(guó)是迄今為止唯一頒布新規(guī)定的大國(guó)。專家們提出了不同的方法來(lái)控制生成性人工智能的潛在危害。

“目前控制人工智能問(wèn)題的解決方案似乎是‘增加更多人工智能’，我認(rèn)為這可能不現(xiàn)實(shí)，”Forrester 分析師Jeff Pollard說(shuō)?！盀榱苏嬲秊檫@些解決方案添加正確的控制層，我們需要更好地解釋和觀察系統(tǒng)中的上下文。這些應(yīng)該與 API 相結(jié)合，用于提供有意義的細(xì)節(jié)，并提供目前似乎不存在的管理能力?！?/p>

然而，監(jiān)管生成人工智能將是困難的，因?yàn)榧夹g(shù)行業(yè)仍處于了解其能力的初級(jí)階段，分析師和咨詢公司 Enterprise Management Associate 的研究總監(jiān) ChrisSteffen 認(rèn)為。

“監(jiān)管的前景并不樂(lè)觀。原因是 ChatGPT 是擁有無(wú)窮無(wú)盡可能性的事物，想要為 GPT 實(shí)例可能涵蓋的所有情況做好準(zhǔn)備將是非常困難的，”Steffen 說(shuō)?！疤貏e是在以下領(lǐng)域?qū)?huì)更加困難：如何監(jiān)管，使用的流程以及責(zé)任的歸屬?！?/p>

作者：Shweta Sharma

原文鏈接：ChatGPT creates mutating malware that evades detection by EDR | CSO Online

關(guān)鍵詞：