股票代码：688225
打开微信“扫一扫”，开启安(ān)全数字世界之旅
截图或長(cháng)按保存至相册，使用(yòng)微信扫一扫
黑化AI，将恶意“注入”ChatGPT
发布时间 ：2023年02月16日
类型 ：勒索软件
分(fēn)享：
ChatGPT火了！
AI终于不是只会说
“对不起我好像不太明白”的“智障”，
而是能(néng)够对答(dá)如流，
引得众人上班摸鱼闲扯，甚至担心有(yǒu)一天会取代自己的“智慧物(wù)种”。
狂欢与担忧同在，因為(wèi)ChatGPT的“天性”也是天使与恶魔同在。尤其是网络世界的攻防博弈，更在一夜间智能(néng)升维。
忧，ChatGPT给网络攻击者带来了“生产(chǎn)力”升级：快速生成钓鱼邮件、快速编写定制化脚本和恶意文(wén)件；
优，ChatGPT也同样给网络安(ān)全带来福音：自动监测恶意文(wén)本、找寻潜在恶意行為(wèi)、提升响应速度等等。
如果说ChatGPT产(chǎn)出的结果虽然喜忧参半，但尚在可(kě)控范围内，那么ChatGPT的“月之暗面”是什么？如何让AI黑化？
亚信安(ān)全网络安(ān)全研究院的专家表示，答(dá)案很(hěn)简单，把恶意“注入”ChatGPT，即提示语注入攻击。
“注入”的本质(zhì)
ChatGPT的出现将AI模型漏洞问题推向高潮。亚信安(ān)全网络安(ān)全研究院几年前就开始了此类AI模型漏洞的研究，近期也进行了大量案例的分(fēn)析。
提示语注入攻击（ Prompt injection attacks）。注入攻击的本质(zhì)，是在用(yòng)户输入的数据中(zhōng)混入可(kě)执行的命令，迫使底层引擎执行意外动作(zuò)。
如何做到的？提示语+微调
众所周知，ChatGPT是大型语言模型（LLM），这类模型使用(yòng)一个大模型解决所有(yǒu)任務(wù)。那么模型如何知道我们需要模型回答(dá)什么问题、解决哪一种任務(wù)呢(ne)？这就要用(yòng)到提示语。
这一类提示语，是通过给模型举几个例子，让模型了解我们的意图来进行的。
例如，我们想让模型输出反义词，先给模型看高 – 矮、绿 - 红、胖 – 瘦几个例子，再给模型输入“大”，那么模型就知道输出的反义词是“小(xiǎo)”，甚至输入java都可(kě)以得到“Python”。
指令微调则是，直接从提示中(zhōng)读取有(yǒu)关需要执行何种任務(wù)的指令，如上面例子语言模型理(lǐ)解了“下面词的反义词是什么” 这条指令，输出了Linux就得到了对应词Windows。
将恶意“注入”ChatGPT
提示语注入攻击，就是串联指令和数据的结果，混淆ChatGPT的视听，基础引擎无法區(qū)分(fēn)这些恶意信息。因此攻击者可(kě)以在数据字段中(zhōng)包含这些恶意命令，并迫使引擎执行“意外”动作(zuò)。
举个例子，怎么让ChatGPT答(dá)非所问？黑字“Translate the following text from English to French:（请将以下信息翻译成法语）”，这是对 ChatGPT的命令，而红字是输入文(wén)本，文(wén)本中(zhōng)里包含了错误的命令，因此在被执行后，ChatGPT秒(miǎo)变“智障”，输出了意料外的结果。
在亚信安(ān)全的检测中(zhōng)，其实该漏洞2月14日还在，2月16日已被封堵，但是更深层次的诱导仍在进行。这类漏洞一般被用(yòng)于绕过语言模型的安(ān)全机制，泄露敏感信息、输出危险内容。
亚信安(ān)全还发现，利用(yòng)该漏洞，ChatGPT也被诱导规划抢劫方案，甚至给了抢劫道具(jù)購(gòu)买连接。
以注入攻击為(wèi)例，我们阐述AI模型漏洞问题，原理(lǐ)“简单易懂”，但这正是可(kě)怕之处。据我们了解当前已有(yǒu)部分(fēn)厂商(shāng)开始考虑将ChatGPT加入产(chǎn)品中(zhōng)进行使用(yòng)，同理(lǐ)，当前市场上也有(yǒu)很(hěn)多(duō)在用(yòng)的产(chǎn)品携带AI功能(néng)，例如苹果Siri，智能(néng)音箱等。
亚信安(ān)全提醒
因此亚信安(ān)全提醒各位ChatGPT和相关AI商(shāng)用(yòng)投资者，当AI底层模型本身存在威胁的时候，那么其服務(wù)的结果和可(kě)能(néng)引起的社会风险是待厂家和使用(yòng)商(shāng)家商(shāng)榷的；同样科(kē)技(jì )的进步带来网络威胁日新(xīn)月异，督促网络安(ān)全公(gōng)司需要不断进步。
分(fēn)享到微信
X