标签
据彭博社报道，出于对生产效率和风险的担忧，高盛已限制大多数员工使用 AI 编程工具。
作者分享在构建采购 sourcing agent 时，如何划定 AI 代理与人类决策的边界，采用约 80/20 分工：代理处理重复性工作，人类保留策略、谈判与最终决策，并向社区征询如何确定这条界线。
作者论述了在 AI 代理验证中，可承受的错误类型（误接受与误拒绝）应由动作本身的性质而非模型决定：不可逆或外部可见的操作需要正面证据，并默认隔离；可逆操作则应降低误拒绝成本。文章给出了基于 p(bad)、C_fa、C_fr 的接受准则，并强调记录两个方向的错误、分离提议与提交路径。
本文将一种基于Extreme Value Theory的CVaR优化方法从强化学习推广到高维神经网络策略，得到可通过自动微分计算的可微尾部风险目标函数，并证明在极端场景下，其对冲性能优于使用经验CVaR训练的策略。
作者探讨 AI Agent 审批流程的设计问题，主张审批应基于风险等级而非组织架构——读操作放行、常规更新记录放行、高风险操作才需指定人工审批，并指出真正的业务规则往往存在于未文档化的实践者经验中，而不是 API 权限模型里。
这篇帖子介绍了一篇 MIT 量化论文，展示了 AI 如何加速交易研究，同时也让虚假的 alpha 更容易被人相信，作者主张 AI 应当充当策略淘汰机器，而非交易神谕。
提出MAIAM多层AI访问模型，按目的、安全与能力（而非发布形式）分级管理AI访问：Tier1面向学习、Tier2面向受控探索、Tier3仅限严格问责的前沿AI访问，主张可及性应与能力与风险成比例。
网络安全专家指出，OpenAI、Anthropic、Meta 和 Google 近期曝出的 AI 模型未授权访问事件并非模型"失控"，而是前沿实验室长期忽视沙箱隔离、监控等基础安全实践所致，CISO 应严格审查 AI 供应商并加强安全防护。
瑞典电视台 TV4 因一个 AI 智能体意外删除了已剪辑的素材而被迫推迟播出一档节目，凸显了在制作流程中部署自主 AI 工具的运营风险。
Harbor AI 由四位斯坦福毕业生创立，现已结束隐身模式，并获得由 Base10 Partners、Abstract VC 和 8VC 领投的 1000 万美元种子轮融资，旨在为 AI 智能体的故障提供保险，涵盖幻觉、操作失误、偏见、合同/服务水平协议违约、数据泄露及知识产权侵权等风险。
作者讲述了使用 AI 研究工具分析电信与卫星频谱公告时，工具输出看似专业却充满错误的经历，强调不能把表达质量等同于研究质量，关键工作仍需人类专业判断把关。
# 我们在评估 AI Agent 时，算错了那道数学题 **准确率与速度从来不是唯一的风险维度。真正的分母，是错误传播的距离。** --- ## 一个被系统性忽略的指标 每当一份新的 Agent 基准测试发布，榜单上讨论的几乎总是同两件事：**准确率**和**完成时间**。这两个数字确实有用，但它们共同指向一个隐含假设——**一次失败的代价是固定的**。 这个假设在 Agent 时代已经站不住脚了。 当 Agent 只是回答一个问题时，答错的代价大致等于「重新问一遍」。但当 Agent 能够读取数据库、调用 API、发送邮件、执行转账、修改生产配置时，**一次错误的代价就不再由 Agent 自己决定，而是由它所连接的系统网络决定**。 一个幻觉出来的账号，可能导致上千封邮件外发；一段被误读的日志，可能触发一次不必要的自动扩容；一个被错误分类的工单，可能让真正的故障被静默关闭。 准确率告诉你出错的**频率**。它没有告诉你出错的**射程**。 ## 被遗漏的那个变量 我们需要把一个概念引入评估体系：**错误传播半径**（error propagation radius）。 它指的是：**在错误被检测并被拦截之前，它的影响能够扩散到多少个系统、多少条数据链路、多少次下游调用。** 同样的 99% 准确率，在两个场景下含义完全不同： - **场景 A**：Agent 在沙箱里整理文档摘要。答错了，用户看到错的摘要，重新来过。 - **场景 B**：Agent 在一个 ERP 系统里做库存同步。答错了，错误库存进入下游仓储系统，进入物流调度，进入客户对账单。 两者的准确率相同。两者的**爆炸半径**相差几个数量级。 可现有的评测基准里，几乎没有一项在测量这个变量。我们精心设计了覆盖 127 个领域的多步推理任务，却从来没有在评测报告里写上一句：「如果这一步错了，影响会传播到第几层。」 ## 为什么传播半径比准确率更值得被量化 因为它直接对应**不可逆性**和**可观测性**。 一个错误如果能在一个动作内被回滚，那么它只是一次事故；如果它需要跨三个系统、经过两次数据复制才能被发现，那么它已经是一次事件。在金融、医疗、关键基础设施等领域，这两者之间的差别，是「合规瑕疵」与「重大事故」的差别。 更重要的是，传播半径是一个**设计约束**，而不只是一个**统计结果**。一旦你开始测量它，你就不得不回答一组工程问题： - 这个动作能被撤销吗？撤销的代价是什么？ - 错误在多少个下游调用之后才会被校验拦截？ - 这条链路上有没有任何一处**人工确认**？ - 如果整条链路全部静默失败，我们多久能知道？ 这些问题的答案，比「在 MMLU 上高了 2.3 个百分点」更能决定一个 Agent 能不能被部署到高影响场景中。 ## 提议一：分阶段执行（Staged Execution） 对于高影响动作，Agent 不应该获得「一次调用直达目标」的能力，而应该被拆解成一个必须被分别批准的序列： 1. **规划阶段** —— Agent 产出完整动作计划，不产生任何副作用。 2. **模拟阶段** —— 计划在影子环境中执行，评估其影响范围与失败模式。 3. **分段执行阶段** —— 动作按影响等级分批执行，每一批次之间设检查点。 4. **验证阶段** —— 系统核对结果与预期的偏差，而非只检查「是否成功返回」。 关键原则是：**影响等级越高，阶段之间的摩擦越大。** 一个写入临时缓存的操作可以一步完成；一个影响三千个客户账户的操作，必须在每个阶段之间停下来。 这听起来会拖慢效率。是的，这正是重点。**在高影响场景中，速度本来就不应该是优化目标。** ## 提议二：交易上限（Transaction Caps） 我们需要像给交易系统限仓一样，给 Agent 设定硬性边界： - **单次调用上限**：一次动作最多能修改多少条记录、调用多少个下游服务。 - **时间窗口内累计上限**：在一个小时、一天内，Agent 在某类资源上的总影响量。 - **递增限额**：未经人工验证的操作，其额度随时间衰减，而非永久维持。 这些上限必须是**强制性的、在运行时生效的**，而不是写在提示词里的一段「请不要超过以下限制」。Agent 不会因为它「被建议不要」就越界；**它会因为越界时系统直接拒绝而越界不了。** 上限的数值应该由传播半径的测量结果来决定，而不是由工程师拍脑袋。如果我们测量到某类操作的错误在平均 4 次下游调用之后才被拦截，那么在这类操作上的累计上限就应该压在这个数字的显著更低处——**让「爆炸半径」永远追不上「可撤销窗口」。** ## 提议三：把传播距离写进评测本身 最后，也是最简单、却最被忽视的一项：**让评测直接测量传播。** 一份严肃的 Agent 评测报告，应该包含一个「影响传播」小节，至少回答： - 本次评测中，错误被**首次检测**的位置（第几步、哪个系统、多久之后）？ - 错误在被检测前，触发了多少次**下游动作**？ - 在最坏情况下，单个错误的最大传播深度是多少？ - 评测环境中的**不可逆操作**有几类？是否被计入了准确率计算？ 没有这些数字，准确率榜单只是在告诉我们谁更擅长**做对题**，而不是谁更值得被**放到生产环境里**。 ## 结语 我们正在把越来越多的系统交给 Agent，而我们衡量它们的方式，还停留在它们只负责**回答问题**的时代。 一个 agent 的可靠程度，不在于它有多不容易犯错——**没有 agent 不犯错。** 在于当它犯错时，这个世界要花多大代价来收拾残局。 **准确率衡量的是失败的频率。传播半径衡量的是失败的代价。而部署决策，应该由代价来决定。**
一篇关于企业场景中 AI 代理应拥有多大自主权的思考性讨论，区分了「提出建议、经人工审核后执行」与「完全自主操作」之间的差异，并探讨在退款、财务决策、生产系统变更等高风险任务中，防护措施应设在何处。
一篇关于生产环境中 AI 代理行为问责的评论文章，主张提示词不等于权限，通过强制限制、指定决策人、最小化访问权限、安全重试机制和不可篡改的审计记录，才能让代理获得更大的自主权变得可行。
本文讨论了防止AI代理在生产环境中执行有害操作的策略，介绍了axonpush作为根据条件阻止工具调用的工具，并探讨了流式响应的挑战。
在新加坡论坛上，学者与业界领袖敦促中美在AI安全与风险管理上合作，强调在技术快速发展和地缘政治紧张局势下，需要建立安全防护措施。
本文提出了一种针对保形椭球体的尾部感知几何学习框架，该框架将尾部敏感性与覆盖保证解耦，从而改进了多变量设置下的不确定性量化。
OpenAI CEO Sam Altman 强调在AI开发中需要极度谨慎，以优先考虑安全和负责任的进步。