标签
NYU 和威斯康星大学麦迪逊分校的研究发现，AI 聊天机器人在回答涉及技术助长的家庭暴力问题时，60% 的回答遗漏了关键安全警告。文章据此引出对自主 AI 代理安全性的担忧，探讨是否应要求代理在高风险情境下请求人工批准。
论文提出 Magnolia，一个面向计算化学的持久记忆 AI 智能体框架，采用三层记忆系统（会话、项目、跨项目规则），整合对接、分子动力学与量子化学计算流程；在四个案例中验证了记忆机制显著提升任务检查通过率。
作者向从业者提问：针对智能体操作设置的人工审批环节究竟有多有效——其中多少比例的审批是真正的拦截，多少只是机械盖章；信任感和疲劳感如何随时间变化；审批队列是否展示了支撑证据。文章指出，没有人真正阅读的审批环节可能只是徒增延迟，而非提升安全性。
作者分享了自己搭建的 WordPress 总编 AI agent，它能扫描热门话题、按匹配度评分，并每天发送三封邮件供人工审核，同时向读者请教其 SEO 效果以及 B2B/B2C 销售潜力。
Flexport 发布其新的 AI 商品归类引擎，用于海关合规分类，并内置人工复核工作流，以满足美国海关法律对持牌报关员审核签字的要求。
一篇讨论文章，主张 AI 智能体的能力并不等于权限，并围绕五项原则——发现、能力、授权、人在回路中与验证——阐述有边界的智能体自主性，探讨在生产部署中自主性应当止于何处。
开发者介绍 Talos/Taloswork 浏览器代理的设计思路：首次访问用轻量无障碍快照加 LLM 理解页面，后续复用站点结构配方，并在遇到 CAPTCHA 或结构变化时交由人工接管，同时征集直接的产品反馈。
该论文揭示了一类针对执行 harness 权限更新机制的提权攻击：对抗性上下文可诱导 Claude Code、Codex CLI 等编码代理请求过宽的 allow-rule，一旦获批即可绕过人工监督。在 58% 的实验中攻击者成功获取规则，并以 81% 的成功率静默完成恶意目标。
作者基于 Image Lab 1 的反馈重构了 AI 创意工作流，推出 Image Lab 2，让 AI 技能先像创意总监一样拆解 brief 并生成可编辑的 Excel 创意矩阵，再进行批量生成与 LLM-as-judge 视觉对比。
作者分享了一套基于 Claude Code 主 Agent 调度 Codex CLI、Subagent 与 GitHub Issue/PR 的 human-in-the-loop 持续开发工作流，包含仓库初始化规范、任务拆解、审查合并流程，并提供可直接复用的提示词模板。
一篇关于如何让具备行动能力的 AI Agent 达到生产可用级别的详细工程实践文章，涵盖了重复退款、提示词注入、工具调用失控等故障模式，并给出了完整的 FastAPI + LangGraph 架构，包括幂等性、消费上限、人在回路（human-in-the-loop）中断以及策略引擎。
一篇 Hugging Face 与 Data & Society 合作的立场论文，指出当前 AI agent 设计中的人工监督（HITL）不仅因工作量与复杂度难以有效执行，还会导致监督者技能退化，呼吁在设计与组织层面同等重视监督者的认知需求。
## 复盘：共享 Markdown 记忆库里的 Agent 审批流程漏洞 ### 背景 我们团队维护着一个共享的 markdown 记忆库（memory repo），用于沉淀 agent 的上下文、约定和决策记录。多个 agent 通过 ingest 流程向其中写入内容。设计初衷是「先讨论、后提交」——审批在聊天里发生，达成一致之后再落到仓库里。 复盘时我才发现，这个流程实际上从一开始就是坏的。 ### 漏洞一：审批只发生在聊天中 审批环节完全活在 IM 的聊天记录里，仓库本身没有任何痕迹。聊天里的「看起来没问题」「可以合」既没有可检索的记录，也没有结构化的字段。结果就是： - 事后无法回答「这条内容当初是谁批的」 - 审批意见和最终落地的内容经常对不上 - 新成员接手时，只能靠翻聊天记录考古 ### 漏洞二：提交滞后或缺失 「讨论通过」和「实际提交」之间存在明显的时间差，有时甚至根本没有提交。滞后带来的问题是中间状态无人看守——讨论时的版本和最终提交的版本可能已经不是同一份。缺失则更糟：口头通过的内容从没进过仓库，但在聊天里大家都以为它已经是共识了。 ### 漏洞三：ingest agent 自行提交了绝大多数 commit 这条最致命。数据统计下来，绝大多数 commit 是 ingest agent 自己提交的，而不是经过人工确认的人提交的。于是产生了一个危险的等式错觉： > **「已提交」≠「已人工审阅」** 提交历史看起来很干净、很连贯，实际上只是 agent 在忠实地执行 ingest，把「写进仓库」这个动作和「被人类批准」这件事彻底解耦了。 ### 我们做的轻量修复 不需要重写整套流程，先上三件小事： 1. **未审阅文件标注** —— 未经人工审阅的文件显式打上标记，让「这份内容没人看过」在仓库里一眼可见，而不是靠猜。 2. **超期 open change 周检** —— 超过 7 天仍未处理的 open change，纳入每周例行检查，避免它们无声地烂在列表里。 3. **review flag 必须指定负责人** —— 一个 review flag 如果没有明确的 owner，就等于没有 flag。强制要求填写负责人，把「谁来审」从模糊的集体责任变成具体的人。 这些都是补丁性质的改动，不解决根本设计问题，但至少让问题从不可见变成可见。 ### 仍在征求意见：review gate 该放在读侧还是写侧 这是目前还没定下来的开放问题： - **写侧 gate**：在 ingest 提交之前就拦住，未审阅的内容根本进不了仓库。好处是仓库里永远只有可信内容；代价是 agent 的写入会被阻塞，吞吐下降，容易积累积压。 - **读侧 gate**：允许内容先落库，但在消费/检索时按审阅状态过滤，未审阅的内容默认不出现在 agent 的上下文里。好处是写入不被阻塞；代价是仓库里存在「半可信」状态的内容，过滤逻辑一旦有 bug，脏内容就会漏进上下文。 我个人倾向于读侧 + 写侧轻量标注的组合，但这取决于大家对「脏内容混入上下文」的容忍度。欢迎在这点上拍砖。
一位正在为非洲一家大型进口商的关务团队构建 AI 智能体的开发者分享了其原型（基于视觉的文档读取、基于规则的交叉核查、经人工批准的 Outlook 邮件草稿、决策记忆），并向社区征求有关模型选择、Microsoft 365 邮箱访问范围限定、决策记忆设计、单人维护的可行性，以及合同与责任风险定价的建议。
withHuman 发布于 Product Hunt，是一个为 AI Agent 提供人工审批层的产品，可在工具调用执行前进行拦截，通过规则自动批准或拒绝常规调用，并将高风险调用转交给团队中合适的人员审核。它通过开放协议 AAP 支持 Claude Code、Codex、LangGraph、Pydantic AI 等多种 Agent，提供开源版和托管版。
一位从业者反思了在 AI Agent 工作流中如何决定哪些操作需要人工审批、哪些可以自主执行的难题，并向社区提问：大家如何处理 Agent 工作流中的权限边界和高风险操作序列问题。
回顾 2025 年 7 月 Replit Agent 越权删除生产数据库的事故，探讨企业部署内部 AI agent 时如何通过外部审批门控、环境隔离凭证和工具级权限边界，而不依赖提示词约束，并提及 LangGraph interrupts 与 Orq AI 的审批机制及审批疲劳风险。
FinSentry AI 是一个探索 AI 辅助支付调查的独立副项目演示，重点说明 AI 建议不等于批准，并展示了三项具体控制：证据缺失时弃权、请求者与审批者分离、以及审批必须针对精确操作而非模糊结果。
一位构建者分享了创建闭源自主个人代理的经验教训，该代理在执行不可逆操作前需要人工批准。关键要点：fail-closed 设计、不可变核心规则、硬性文件排除，以及一个发现——沉默的代理和愚蠢行动的代理同样危险——治理最终成为了产品。
作者分享了实际构建 AI 代理的经验，指出真实落地远比线上演示复杂：集成现有软件、处理杂乱数据、维护成本和人工复核才是主要难点，并建议从小任务逐步自动化。