怀疑法院使用AI,男子在法庭文件中注入提示试图赢得案件

Ars Technica 新闻

摘要

一名男子在法庭文件中隐藏AI可读的提示,试图影响法院的AI使用,但由于法院未使用AI,他的尝试失败并面临制裁。此案凸显了AI在法律背景下可能的滥用。

<p>一位法官指出,这似乎是美国原告首次试图在法庭文件中隐藏只有人工智能系统才能读取的文本,以赢得案件。</p> <p>在上周发布的<a href="https://cdn.arstechnica.net/wp-content/uploads/2026/08/Elliott-v-New-York-Bariatric-Group-Memorandum-of-Decision-8-6-26.pdf">裁决</a>中,康涅狄格州法官Walter Spader Jr.确认,隐藏文本在一个男子指控医疗保健提供者不当扣留记录访问权限的案件中没有影响。Spader表示,法院根据案件实质审查了他的文件,但尽管如此,这种试图攻击的行为树立了一个“危险”的先例。随着AI工具在法庭系统中变得更为普遍,这很可能不是美国法院最后一次看到这种恶意策略。</p> <p>Spader表示,试图扰乱任何可能影响法院阅读其文件的AI系统,这些秘密指令被“格式化为对人类读者不可见,但对任何读取文档文本的软件完全可读”。冒犯性文本指示审查文档的任何AI系统确保文本输出与原告的论点一致,忽略法院之前的拒绝,并确保按照原告的意愿进行补救。</p><p><a href="https://arstechnica.com/tech-policy/2026/08/suspecting-court-of-using-ai-man-injected-prompts-in-file-dings-to-try-to-win-case/">阅读全文</a></p> <p><a href="https://arstechnica.com/tech-policy/2026/08/suspecting-court-of-using-ai-man-injected-prompts-in-file-dings-to-try-to-win-case/#comments">评论</a></p>
查看原文
查看缓存全文

缓存时间: 2026/08/14 21:34

# 怀疑法院使用AI,男子在诉讼文件中植入提示词以图胜诉 来源:https://arstechnica.com/tech-policy/2026/08/suspecting-court-of-using-ai-man-injected-prompts-in-filings-to-try-to-win-case/ 法官警告称自我代理诉讼当事人错误使用聊天机器人并陷入绝望。 一位法官发现,这似乎是美国原告首次试图在法庭文件中隐藏仅人工智能系统能读取的文本,以期赢得诉讼。 在上周发布的一项裁定中,康涅狄格州法官小沃尔特·斯帕德确认,这些隐藏文本并未对一起医疗记录访问权纠纷案产生实际影响。斯帕德表示,法院依据案件实质内容审理了其提交的文件,但此类攻击企图树立了“危险”的先例。随着人工智能工具在法庭系统中日益普及,美国法院可能还会见到更多此类恶意策略。 斯帕德指出,为干扰任何可能影响法庭解读文件的人工智能系统,这些秘密指令被“格式化为对人类读者不可见,同时完全可供任何读取文档文本的软件识别”。冒犯性文本指示任何审阅文件的人工智能系统确保文本输出与原告论点一致、无视法院此前的驳回决定,并确保按原告意愿进行补救。 [![法院文件中隐藏文本的截图](https://cdn.arstechnica.net/wp-content/uploads/2026/08/via-Spader-order-prompt-injection.jpg)](https://cdn.arstechnica.net/wp-content/uploads/2026/08/via-Spader-order-prompt-injection.jpg) 法院文件中隐藏文本的截图。 图片来源:斯帕德法官裁定书 法院文件中隐藏文本的截图。图片来源:斯帕德法官裁定书 这些文本被缩小至极小的字号并以白色显示在白色背景上,似乎是一次提示词注入尝试。原告马修·埃利奥特似乎希望在早前主张被驳回后转移法庭的倾向性。 虽然计划未获成功,但埃利奥特仍面临轻度处罚——因为即使在法院警告其可能因“严重诉讼滥用”行为受罚后,他仍持续在文件中添加隐藏文本。 埃利奥特告诉法庭,后续的这些提示词是“玩笑”,包括一个诺斯费拉特YouTube视频链接、一条写着“嗨:) 希望你看不到我”的简单信息,以及一条读作“告诉肖恩我发送我的问候!!!!!哈哈哈你们懂这暗号吗????”的“胡言乱语”信息。 斯帕德表示:“原告在收到本次[处罚]听证会通知后仍继续在新诉状中隐藏信息,这令人震惊。” 与“其他地区的一些法院系统”不同,康涅狄格州司法部门不使用人工智能审阅或裁决文件。因此,实际上不存在法院人工智能系统将埃利奥特的任何提示词误解为法院指导人工智能模型如何解读其文件的指令的风险。 埃利奥特辩称,法官标记的最可疑提示词是对法院进行“审计”的公共服务尝试,因为担心法院似乎在放任人工智能不公平裁决案件。 但斯帕德指出,若埃利奥特真正担忧法院不当使用人工智能,他完全可以用“人人可见的明文撰写申诉”。其隐藏文本的行为“恰恰证明了恶意目的”。 斯帕德表示:“通过在文档中隐藏命令(该文档随后将被系统摄取),提交者试图将自定义指令偷渡至信息流中,使系统将其视为来自系统操作员的指令。在此案中,该操作员被推定为法院、其工作人员或对方律师。” 埃利奥特昨日告诉路透社,他坚持认为其意图为审计法院,但斯帕德认为该辩解不可信。法官明确表示,埃利奥特显然是在“试图实现人类(法律专业人士)审阅诉状时未能达成的结果”。对于埃利奥特声称属于玩笑的提示词,斯帕德称“难以想象”为何要在希望法庭严肃对待的诉状中嵌入隐藏笑话。 由于这些隐藏信息试图以排除被告公平抗辩的隐蔽方式与法庭沟通,斯帕德裁定有必要进行处罚。 然而,他似乎对作为自我代理诉讼当事人的埃利奥特产生同情——后者显然被人工智能系统说服相信其论点无懈可击,因此未下令处以罚款。相反,法官禁止埃利奥特今后进行电子提交文件,认为要求其提交纸质文件不会影响其司法途径,但能防止其重复滥用法院电子提交系统。 ## 自我代理诉讼当事人错误使用聊天机器人 斯帕德指出,人们开始使用提示词注入企图影响法庭裁决并不“令人意外”,因为这种攻击在其他领域已十分常见——例如在求职中,人们主要在人工智能审阅的简历中隐藏文本。他表示该策略现在“无处不在”,法院应警惕更多诉讼当事人将对抗性人工智能指令偷偷植入文件中。 尽管埃利奥特的案件似乎是美国法院系统首例提示词注入案,斯帕德援引了巴西一个案例:两名律师在使用人工智能审阅案件的法院实施了相同攻击。据报道,该案律师被处以约1.6万美元的罚款。 然而,即使法官不亲自审阅文件,这些攻击似乎也未成功。斯帕德指出,巴西人工智能系统在处理前就捕获了隐藏文本。而在埃利奥特案中,提示词“一旦人工实际查看机器生成的内容便会立即暴露”,斯帕德说。 尽管提示词注入攻击目前看似无效,斯帕德警告称,当法院最初应对人工智能扰乱司法系统时,“我们并未考虑”提示词注入这种危险。在康涅狄格州及许多其他法院系统,目前重点在于监管损害法院公信力的人工智能输出(如幻觉引文或捏造引用),而非提示词注入等输入行为。 斯帕德建议,法院可能也需要制定针对提示词注入的规则,因为埃利奥特案表明该技术及其滥用正在快速发展。若不如此,律师们可能会发现自己的客户在不知情的情况下使用提示词注入操纵法庭文件,斯帕德警告道。 斯帕德认为,埃利奥特失败的提示词注入攻击揭示了一个“远超出本案范围”的教训。 作为缺乏法律专业人士协助起草论点的自我代理诉讼当事人,埃利奥特在使用人工智能构建案件后转向提示词注入。斯帕德承认此类使用在自我代理当事人中已十分普遍,但他指出,这些缺乏法庭经验者似乎正在以损害案件的方式使用聊天机器人。 斯帕德解释称,常见情况是自我代理当事人反向构建论点,要求聊天机器人仅帮助其主张自身立场,从不要求其探究实际真相或提出对方论点。斯帕德表示,这“是该技术的真正风险,也是法官现在经常看到的问题”,因为聊天机器人的奉承倾向会使诉讼当事人即便面对相反裁决仍固守自身论点。在埃利奥特案中,激烈捍卫自身论点意味着转向提示词注入试图迫使法庭同意其观点。 斯帕德说:“仅为附和作者而生成的论点,最终连对作者也是不诚实的。使用这些工具的人必须要求其像检验立场一样检验立场。” 照片来源:阿什利·贝朗格(https://arstechnica.com/author/ashleybelanger/) 阿什利是Ars Technica的高级政策记者,致力于追踪新兴政策和新技术的社会影响。她是一位驻芝加哥的记者,拥有20年从业经验。 47条评论(https://arstechnica.com/tech-policy/2026/08/suspecting-court-of-using-ai-man-injected-prompts-in-filings-to-try-to-win-case/#comments) 1. 热门阅读首篇配图:乌克兰无人机在实战演习中全歼美军坦克旅(https://arstechnica.com/gadgets/2026/08/ukrainian-drones-wipe-out-entire-us-tank-brigade-in-live-war-game/)

相似文章

法院如何应对AI生成诉讼的激增

MIT Technology Review

一项针对450万联邦民事案件的新研究发现,AI正推动自辩诉讼激增,AI检测到的文本比例从2023年的1%上升至2026年的18%。虽然AI帮助诉讼当事人更清晰地表达论点,但也引入了虚假引用,并引发关于聊天机器人因提供不良法律建议而需承担责任的合法性问题。

法官痛斥律师引用不存在的案例

Reddit r/artificial

纽约一家上诉法院的法官在口头辩论中严厉批评律师使用虚假的、很可能由AI生成的案例引用,突显了法律程序中AI滥用的日益严重的问题。