两名律师因提交AI编造的案例被联邦上诉法院制裁

看到路透社本月初的那篇文章，一直印象深刻。美国一家上诉法院制裁了两名律师，因为他们在诉状中提交了大量根本不存在的案例——这类案例出自聊天机器人。法院称其缺乏坦诚，这已是客气说法。让我在意的是，这并非首次，也显然不会是最后一次。现在有一个数据库专门追踪这种情况，条目已超一千。模式总是相同：模型生成了看似真实的引文，律师没有核查，诉状被提交，后来某位法官或对方律师真的去查证，整个事情就崩塌了。到那时，律师的损失已经造成。人们一直忽略的是，让模型自我复查并无帮助。虚构案例的那个盲点，恰恰也是进行复查的那个。它会自信地确认自己的虚构产物。我从研究角度一直在探索这个问题，目前唯一有效的设置是，验证工作由非原始答案生成方完成——即用全新来源单独过一遍。现在有几套系统基于这个思路构建，我常见到被引用的是Apodex，因为它让验证者团队与推理者团队分开，但原则比品牌更重要。如果检查者与写作者共享语境，那就又回到自我评分了。对于受监管领域的从业者，实际教训很枯燥：把模型提供的每一条引文都视为未经验证，直到人类或独立核查确认其存在且内容与模型所述一致。制裁不会放缓，工具在加速，法院的耐心也在减少。