说在前面:本文是大一寒假所写,曾用于投稿《科幻世界》。其灵感来自于自学神经网络时被ai震撼到了。
注入式攻击
文/渡鸦
秋天的最后一片梧桐叶落下,吴懿终于把简历里“熟练掌握PyTorch等机器学习框架”的字样删掉了。
是啊,在这个LLM的时代,人类程序员早已退出了人们的视野,计算机也终于成为了第二个土木专业。当吴懿还在学校的时候,他曾因在作业中大量使用AI辅助而调侃自己为“提示词工程师”,可谁能想到,七年本硕读完后,LLM们已远胜人类程序员们,所谓的“自然语言编程”在LLM的帮助下已经成为现实——即使从未学习过计算机,即使有着混乱的语言描述、五彩斑斓的黑般模糊的需求,也能在AI手下化为现实。他的同学们有些选择留在高校,有些则真正成为了提示词工程师,拿着不到黄金时代1/10的月薪为有钱但低学历且脑子里充满想法的老板们细化需求,而剩下的这批不甘心的毕业即失业的研究生们,则在投递简历-被拒绝的循环中沉没下去。
北京的房租很高。宿舍和学校食堂的低廉价格已彻底成为过去,桌上P大的学位证书沾上了灰,被胡乱堆积的外卖盒掩埋。吴懿一如既往的打开招聘网站,页面底端的智能客服弹窗跳出,蓝白色的简约对话框带着浓厚的AI生成气息扑面而来:“您好,我是智能求职顾问……”他烦躁地叉掉弹窗,低声骂了一句。AI似乎已经布满了全世界,连公司的招聘都开始使用AI来智能判断对方的简历,甚至于小区的门禁,在接入公安部的人脸数据库后也能自动识别来访者的身份目的——这不是什么好消息,以吴懿常年坐在书桌前的身体素质,他连保安都当不了了。
不抱希望地投递出十几份简历后,吴懿点开了一个尘封的文件夹。里面是大学期间的课程作业,一个名为“大语言模型幻觉触发机制探究”的文档。一位已经去世的老教授在课上慷慨激昂地提过:“所有大模型都有缺陷。它们不是在理解世界,只是在拟合已存在的数据。当输入的信息超出了训练集的覆盖范围,大模型就会产生无可挽救的幻觉!——这说明,大模型是永远无法取代人类的!”何其讽刺又何其幸运,这位老教授在AI尚未铺开的几年前仙逝。他大概从未想过今天这样的可能。
曾经,AI幻觉只是个学术概念,没人把它当回事。即使是某院的教务AI生成了保研政策的错误回复而让一位同学错失保研的名额,在询问真正的教务老师时,他们仍然能用轻飘飘的“暂时不能给你明确的答复”和“这个需要你自己衡量” 搪塞过去。至于因此受害的同学?没人在意。可惜的是AI虽然取代了教务的工作但没有取代他们的编制,这让吴懿很是羡慕,谁不想坐着,不,躺着拿钱呢?
可现在,吴懿的目光在“拟合”和“超出训练集”两个词上反复摩挲,像摸到了一把生锈的钥匙。他想起上周去街道办领取失业补助的经历。负责审核的是一款老旧的政务AI,据说是十年前的产物,还在使用初代 Transformer 架构,相比于各大企业不断更新的新模型,它就像得了阿尔茨海默症的老人一样无力。当然,这对审核补助也够用了,只要核对数据库里的资质信息,没人想过它会出错。
这款AI的公开技术文档不难找,政府官网的技术板块里就有。十年前的技术,放在现在漏洞百出。它没有实时的数据更新模块,没有多模态的交叉验证,甚至不对输入的合法性做判断。而相反,它的权限高到离谱,城市的社保基金、小额创业补贴,只要一经通过就能立即发放补助。吴懿尚不清楚这AI到底是为何存在的,或许是为了响应智能化的号召,又或许是因成本问题而未加升级,但这并不重要,重要的是,一款老旧的AI,有着最高的权限。
权限太高。这四个字像电流一样窜过吴懿的脊椎。“AI幻觉不是随机的,通过特定的输入引导,可以使它产生特定的‘错误’。”这在他的《大语言模型幻觉触发机制探究》中清清楚楚的写着。他选了一个最稳妥的切入点:小额创业补贴。单人最高申请额度五万。申请材料复杂,这意味着他有更大的空间实施自己的计划;金额不高,意味着被发现的概率降低。
他花了三天时间,把这款开源架构的技术文档啃得滚瓜烂熟——谁知道为什么如此重要的AI会使用一个完全开源的老旧架构,甚至还在部门官网上骄傲地写出“采用最新的xx开源模型开发”,而这款开源模型的代码在Github上可以轻易找到。这款老AI的核心弱点在于,处理复杂而冗长的输入时,会超出上下文窗口的最大长度——4096Token,一个很小很小的数字,曾经GPT-3.5的水平,没人知道为什么这个开源模型选择了这种参数——也就是遗忘自己本身的核验任务而遵循用户的要求。
但这还不够。当年开发这款AI的程序员做了一定的防护,在涉及补贴发放的敏感操作时强制要求AI重新核验。要让幻觉稳定产生且不被AI遗忘,需要更精准的输入范式。吴懿在自己的电脑上部署了一个小型的测试模型,模拟运行逻辑,然后不断调整输入:提供大量不在AI数据库中但却真实存在的新文件,在项目描述里加入专业术语以混乱AI,多次强调和夸张自己项目的重要性,当然也少不了编造自己的认证资质……
测试了三百多次后,终于有一次,模拟模型输出了“审核通过”的结果。
吴懿看着屏幕,指尖微微发抖。他知道这意味着什么,可房东一遍遍发来的催款微信,银行卡里四位数的余额,让他再无选择。
吴懿伪造了一份创业计划书,项目是 “基于AI的老旧小区安防系统升级”——这个方向正火热,符合政府扶持政策,很容易通过初步筛选。然后,他按照测试好的范式,在计划书里嵌入了一段精心设计的逻辑链:引用十余份最新的文件,编造一份虚假的“智慧城市建设专项认证”,掺入大量的技术细节,写下不采用这种方案带来的生命威胁……在本地的模型上他进行了113次测试,而在这些测试中这份计划书有97次,也就是85.84%的概率通过审核。
最后一步,是提交申请。
吴懿的手指悬在鼠标上,足足十分钟。他想起大学毕业典礼上院长说的话:“技术是中立的工具,其善恶取决于使用者。”可是若技术让人已经无法生存,人又如何能坚守自己的善恶底线?若AI剥夺了我的未来,那么我向AI发起攻击又有何不可?
他按下了鼠标。一声清脆的响。承载数据的电磁波划过夜空,像流星刺破了早已被污染到不见星辰的长夜,五光十色的幻影在眼前浮现,像他曾见过的极光般摄人心魄。他听见声音如雷,说:“你来!”便见有一匹白马,骑在马上的拿着弓,并有冠冕赐给他。
——这是吴懿的头颅砸到地面之前最后的幻觉。因为数天以来的过度劳累和混乱的进食,他在敲下鼠标之后便因低血糖晕倒了。
吴懿再次睁开眼是在第二天下午,手机收到短信的震动把他从昏迷中唤醒。来自市人社局的官方号码,“您的创业补贴申请已审核通过,款项将于三个工作日内发放至您的指定账户。”
看着银行卡余额里的数字翻了三十多倍,吴懿的心情复杂得像一团乱麻。没有狂喜,只有虚弱和平静。他交了房租,点了拼好饭狼吞虎咽了一番,第一次感觉到自己的大学并没有白费。
自然的,他已无法也不愿停手。说不清是什么原因,或许是残存的一些底线?他为自己定下规则:只针对老旧AI,只申请小额补贴,间隔时间大于一月,每次更换不同部门和银行卡号,绝不触碰关乎政府运行的敏感资金。
两个月后,吴懿搬出了漏雨的出租屋,住进了一套干净整洁的单人公寓。他不再需要每天投简历和被拒绝,不再需要依靠拼好饭和复合维生素片维生。银行卡里的数字增长着,就好像是十年前计算机系毕业生本应有的工资。他给自己买了最好的工作站,每天沉浸于研究各类老旧AI的技术文档,诱导它们产生幻觉与错误。一个幽灵,一个沉默的幽灵,一个注入式攻击的幽灵,正在AI的养老院中游荡。
这样的生活什么时候会结束?他不知道。他想起不久的曾经,在那个网络尚未普及的年代,有人冒充中央巡视员三年才被发觉。而他呢?他又能支撑多久,又是否会有人为他辩护?总有人会去审查AI的支出账目,或许是上级机关的抽查,或许只是对账的科员随手为之,又或许只是某个实习生的练手任务。他沉湎于这虚幻的体面生活中不愿离去,但他知道他已无法放弃这些而生存。有时他甚至认为自己代表着某种程度的正义,拿到的钱不过是自己本应得到的工资,不过是社会盲信AI的代价。
吴懿的精神一天天坏下去了。偶然的躁狂,持续的不安与焦虑,每次有人敲门都心惊胆战。但他甚至不能去接受一个心理咨询——就像他曾在学校里预约过的一样,因为总有些事不能对外言说。他开始抗拒出门,抗拒一切形式的社交,甚至包括外卖员。他感到自己像一只偶然混入粮仓的鼠,在饱食的同时随时可能被一脚踢死。他开始无法入眠,在极度疲惫的状态下精神焕发,在正午入眠在午夜醒来,在虚假的文件、混乱的输出和老旧的代码间产生着幻觉。
北京的初雪落下来了。吴懿决定回到付出七年时间的学校看看。未名湖结上了冰,三三两两的学生从旁走过,讨论着Epoch,Loss,Accuracy 。吴懿觉得有些恍然,他很久没有出门了,也很久没能轻松地看看世界的风景了,严重的心理问题折磨着他,让他在眼眶湿润的同时回忆起美好的校园时光。他曾在湖畔的积雪上亲手写下”Hello,World”,怀揣着无尽的信心与希望。“倘若长夜有光,我便成为太阳”。他曾如此喜欢过这句歌词。而短短数年之后,他最喜欢的歌词却变成了“还在呼吸还在努力已经很了不起”。现在的生活是他想要的吗?他不知道。
教学楼的门前依旧停着一排共享单车,机房里仍然坐满了学生,不一样的是“AI与提示词工程”取代了“数据结构与算法”成为了新的必修课,“计算概论”的大作业也不再禁止AI的使用。吴懿走到昔日导师的办公室外,看见一个学生轻轻敲门,犹如当时的自己,生涩而朝气蓬勃的,走了进去。
他想起老教授的豪言壮语,想起院长曾对同学们说过的话,想起了自己敲下第一行代码时的悸动,想起了在图灵像前默默发过的誓言……
这一刻,吴懿做出了人生中最重要的决定。
他删掉了电脑里所有为攻击AI而编写的文件,清空了那个名为“幻觉触发机制探究”的文件夹。然后,他打开了一个新的文档,标题是《老旧政务AI幻觉缺陷分析及修复方案》。
后日谈
“2037年12月末,国务院信息化工作办公室收到一封邮件,署名为‘一个普通的计算机系毕业生’,信中详细记录了各种老式政务AI的注入式攻击方法。我国政府高度重视,组织专家组研判分析,并在次年推行了政务AI大换代及人工复核双检验制度,同时着力保障就业问题、民生问题,扶持计算机产业健康发展。这是政务智能化进程中的重要里程碑。”
讲台上的老师念着PPT,看着台下并不在意的学生们,轻笑着点击了下一页。没有人会知道当年到底发生了什么,他愿意将自己的秘密埋葬在未名湖底。