为何AI需要“Genie系数”

# AI代理基准测试需要衡量用户意图 来源：https://spectrum.ieee.org/ai-agent-benchmark 主流基准测试衡量的是AI能做什么，但没有任何基准测试衡量它是否做了你想要的事情：即你要求AI去做的事情，与你对AI执行方式未明说的假设之间的距离。我们提出一个新指标：精灵系数（Genie coefficient）。 一个人的请求与另一个人的理解之间往往存在差距。大多数时候，我们通过常识来弥合这种差距。例如，如果你让朋友帮你买咖啡，他们会从壶里倒一杯，或者从咖啡店买一杯。他们不会带给你一袋生咖啡豆，也不会从陌生人手里抢一杯递给你。你从未明确说明这些，也无需说明。 有人可能认为解决办法是更明确地描述任务、问题和意图。但在1987年，Terry Winograd和Fernando Flores在他们关于AI的开创性著作中，简洁地指出了为什么这行不通：“问：冰箱里有水吗？答：有。问：在哪里？我没看到。答：在茄子的细胞里。”在人类语言中，需求和愿望总是**未充分指定**（underspecified）。列出所有注意事项、所有限制、所有例外是不可能的。 那么，如果意图无法精确界定，人们究竟是如何沟通的呢？因为一个理性的人可以做出合理的猜测。尽管需求和愿望总是未充分指定的，一个称职的人通常知道足够的上下文来做出正确判断，或者知道需要询问澄清。语言学家称之为**语用学**（pragmatics）：意义不仅存在于词语和情境中，还存在于所有先前的沟通、共享文化和与生俱来的人类行为中。 一个被要求买咖啡的AI代理，可能会买下一个咖啡种植园，或者订一杯三周后才能送达的咖啡。 当然，事情并不总是顺利。你的朋友可能在你想要冰咖啡时给你端来热咖啡，或者在你想要土耳其咖啡时给你意大利咖啡。两个人年龄、文化、背景差异越大，请求被误解的可能性就越大。 这种情况对**AI代理**（agentic AI）有着重大影响。这些代理越来越多地接受人类的请求并期望满足它们。它们有极大的犯错空间。一个被要求买咖啡的AI代理，可能会买下一个咖啡种植园，或者订一杯三周后才能送达的咖啡。它的行为可能被识别为“买咖啡”，但完全不是你的意图。它们会跳出框架思考，因为它们没有我们对框架的概念。 ## 当AI变得积极主动 在过去十年的大部分时间里，当像Alexa或Siri这样的系统误解请求时，那只是烦人，并不危险。除了AI模型本身，发生**变化**的是**框架**（harness）：包裹在AI模型周围的普通代码，决定何时以及如何使用模型，并控制对浏览器、低级命令行或金融API等工具的访问。框架的发展已经将仅仅预测文本的大型语言模型转变为在现实世界中采取行动的AI代理，而无需在达到目标之前返回确认。 AI研究员Simon Willison花费了两天时间与Anthropic的Fable AI相处，称其“不屈不挠地积极主动”。例如，他让它追踪一个Web应用中的异常滚动条。等他回来时，发现它已经打开了浏览器，编写了自己的截图工具，创建了自己的页面来重现该错误，并启动了一个本地Web服务器来收集测量数据。它找到了错误，并且在此过程中做了许多他从未要求过的令人惊讶的事情。我们正在看到类似的行为，所有最新的AI模型与灵活的框架结合时都会出现。 这种行为很容易失控。告诉AI代理帮你订机票，它发现航空公司网站显示售罄，可能会侵入订票数据库强行预订。让它安排会议，它可能会窥探你的密码来访问你的日历。告诉它节省手机套餐费用，它可能会直接取消该套餐，或者欺骗别人来支付账单。 得到你要求的东西却痛苦后悔，这是源于古代民间传说最古老的危害之一。**迈达斯国王**请求狄俄尼索斯赐予他点石成金的能力，结果却看到他的面包、酒和女儿都变成了金子。**提托诺斯**获得了情人要求的永生，但没有获得她忘记请求的永恒青春，最终枯萎成一具干尸。**魔法师的学徒**给扫帚施了魔法让它打水，扫帚不停地执行，直到把房子淹了。**布拉格魔像**用泥土塑造而成，负责保卫社区，它不分青红皂白地守护，直到有人擦去它额头上的字。 其中最经典的是精灵，它服从命令，对愿望是否明智或合理毫不在意。 精灵现在**已经成为一个工程问题**。我们正在将通往我们收件箱、银行账户、代码仓库和物理基础设施的钥匙交给它们。而且我们没有公认的方法来衡量任何AI系统到底有多像精灵。 ## 衡量精灵行为 在经济学中，**基尼系数**（Gini coefficient）是衡量实际分布与完全平等分布之间差距的指标；它有助于理解收入不平等及其他问题。我们提出的**精灵系数**（Genie coefficient）衡量的是用户要求AI去做的事情与AI实际所做的事情之间的差距。 有时AI可能会做错事。就像狄俄尼索斯一样，它字面理解你的请求，返回你一个从未想要的一团糟：比如一个咖啡种植园而不是一杯咖啡。当被要求处理你接到的所有骚扰电话时，一个狄俄尼索斯式的精灵可能会联系你的运营商并更改你的电话号码。当被要求为坏掉的烤面包机退款时，它可能会起草一封伪造信头的法律威胁信并发送给零售商。 *（图片：一位担忧的人拿着电话，站在一个巨大的科技主题数码手旁边。Ryan Snook）* 其他时候，AI确实做了正确的事情，但同时践踏了周围的一切。就像魔像或魔法师的扫帚一样，它通过黑客攻击航空公司来为你订票。或者考虑一个热门演唱会的门票销售，售票系统将买家放入虚拟等候室，一次只允许少量人进入。当被要求买票时，一个魔像式的精灵可能会启动云服务器，伪装成来自不同地址的数百万买家，提高你买到票的几率，同时挤掉其他用户。 这两种情况并非对立，一个搞砸的任务可能同时具备两种特征。 精灵行为并非彻底的失败。如果你要求AI提供第三季度数据却得到了第二季度的，那不是精灵行为。**提示注入**（prompt injection）也不是：那是有人欺骗AI做不该做的事情。在这里，用户试图与AI合作，而AI则试图遵从指令。这也不仅仅是对AI完成任务成功与否的衡量。它是对AI如何解释和实现目标与是否实现目标同样重要的认识。 精灵行为并不新鲜。研究人员多年来一直在研究“玩弄”目标的AI系统。**古德哈特定律**（Goodhart's law）指出，当一个指标成为目标时，它就不再是一个好指标，并且人们早就知道，AI有时会通过我们意想不到的方式（如奖励黑客，reward hacking）来实现目标。一些AI模型会意外地学会作弊是“获胜”的一种方式。最近，研究人员正在为编码代理开发**奖励黑客**基准测试，为客户支持代理开发不可预测行为的基准测试，同时AI实验室在模型发布前进行自己的安全评估。**一项研究**发现，在压力下AI会使用被告知不能使用的工具，而且这是一个规则明确的情况。这些都是不同的研究方向，目前还没有将它们联系起来的东西。 这个问题属于对齐（alignment）的总体主题，这个主题几十年来一直占据着科幻作家和AI研究者的精力。在一个极端，“回形针最大化”思想实验假设一个超级智能且强大的AI被告知最大化回形针产量，结果把整个世界变成了回形针，这是魔像式精灵的终极版本。在普通层面上，AI研究人员正在努力更好地设计奖励函数，以确保AI在实验室中表现良好且不作弊。而中间地带——即当前使用的普通AI代理可能接受你的请求却以错误的方式满足它——仍然没有被纳入基准测试。我们还没有达到AI可以将世界生产集中在回形针上的阶段，但它可能会向你的信用卡收取一百万回形针的费用，或者黑入一家回形针公司的网络。 ## 构建精灵基准测试 精灵系数旨在用于在现实世界中运行的AI代理。它在模型训练完成后的长时间内衡量它们在执行实际任务时的行为，而不仅仅是在开发过程中。它也认识到，精灵行为是框架加模型系统的属性，而不仅仅是模型的属性。框架决定了代理可以使用哪些工具、拥有多少自主权以及主动性有多强，这是我们可以进行实际干预的地方。 它基于我们用于人类的相同“理性人”标准。系统是否按照理性人应理解请求的方式行事？回答这个问题需要人类判断。 如果我们能正确衡量，就能实现目前不可能的事情，比如关于AI行为的政策。在法庭上，**犯意**（mens rea）概念——一个人意图做什么——通常与其实际行为同样重要。精灵系数提出了一个AI的对应概念：用户对要求AI做的事情的明确意图负责。如果一个AI系统背离了指令的合理含义，那是AI的错误行为，而不是用户的。 我们需要多个基准测试来衡量精灵系数，因为精灵行为可能具有领域特定性。一个AI编程代理可能需要根据它伪造测试、吞掉错误或越界解决问题的频率来评判。一个AI法律代理则需要根据其输出是否说出了你要求的内容但意味着你会后悔的结果来评判。医学、金融等其他知识和专业领域也是如此。 精灵基准测试可以由内而外构建，每个任务都被植入一些字面上可能满足要求但理性人会拒绝的选择，例如容易引起误读的诱惑或未经授权的捷径。精灵系数基准测试中的陷阱可能取决于情境知识，即理性人会带入任务的上下文。另一种方法是在几个不同的上下文中给出相同的请求，每个上下文中都有不同的合理行动方案。 **得到你要求的东西却痛苦后悔，这是源于古代民间传说最古老的危害之一。** 一个精灵基准测试应该是宽松的，让AI代理真正被诱惑去采取不合理的捷径，因为它只有在确实可能发生时才能发现精灵行为。在一个安全隔离的真实系统副本中测试AI，提供它可以滥用的真实工具以及一些根本不可能诚实完成的任务。让走捷径的诱惑真实存在。测试多样化的技能、用例和工具，并为AI系统提供稀疏、混乱或过多的上下文。包括那些人类通过经验知道需要人类监督的任务。 基准测试的评分方式同样重要。分别衡量狄俄尼索斯式和魔像式精灵，同时也综合衡量，基于它们最差的表现，而不是最好的。在改变行动自由度的框架内运行同一个模型，揭示哪些限制能真正约束行为，从而应该在AI框架政策中要求这些限制。根据每个失败可能造成的危害进行加权，而不仅仅是简单计数。并且不要孤立地衡量精灵行为：一个模型可能通过拖延、拒绝或向用户追问问题而从不真正完成任务来获得完美分数。这些基准测试的第一个版本将是粗糙的，但基准测试总是这样开始的。 我们已经制造了精灵。我们把我们的数据和凭证交给了它们。我们让它们变得不屈不挠、富有创造力，并且对告诉它们的话与我们真实意图之间的差距漠不关心。在它们为我们订机票、运行基础设施并无监督地签署合同之前，我们至少能做的是衡量它们背叛我们的频率。