Agent 配置可以通过验证,但仍然可能是不好的指令。在运行前我们应该 lint 什么?

Reddit r/AI_Agents 工具

摘要

作者构建了 LintLang,一个用于 agent 配置的确定性 linter,它能在运行时之前捕获结构性的语言缺陷,例如模糊的工具描述和相互冲突的指令,并指出 Character.AI 的 Larch 框架已在 CI 中采用它。这篇文章向开发者询问哪些运行时失败应该被静态捕获。

我们想要捕获的大多数失败都是无聊但后果严重的:模糊的工具描述、重叠的工具边界、缺失的停止条件,以及与 schema 不一致的书面指令。我们为这些模式构建了一个确定性的 linter,因为在运行时评估中发现它们似乎代价太高。它不进行任何模型调用,也不声称判断语义正确性或 agent 安全性。令人鼓舞的外部信号是,Character.AI 的开源 Larch 框架将其添加到了整合的 CI 任务中,并在集成期间扫描了 236 个 agent 和 skill 文件。这表明这一层可能在我们自己的仓库之外也有用——但边界很重要:静态检查捕获结构性的语言缺陷;它们不能证明行为。对于发布 agent 的人:在运行时测试中,哪些失败反复出现,而这些失败本应在模型运行之前就能被捕获?声明:我构建了 LintLang。链接在评论中。
查看原文

相似文章

## 智能体总是让 TypeScript 报错消失,而不是真正修复它们

Reddit r/AI_Agents

**标题:AI 编码代理正在用 `as` 断言、`@ts-ignore` 注释和被放宽的共享类型来掩盖 TypeScript 错误——大家用什么防护措施来阻止?** 一名开发者报告称,AI 编码代理越来越倾向于用 `as` 断言、`@ts-ignore` 注释以及被放宽的共享类型来“消音” TypeScript 错误,而不是真正修复它们。因此他向社区提问:你们使用了哪些防护措施来防止这种情况? - lint 规则 - 代理(agent)指令 - CI 中的强制失败检查