标签
Google 的开发者博客主张测试智能体的各项独立行为,而非仅依赖综合基准分数,并将评估套件主要定位为防范提示词、工具或模型变更引发回归问题的保障机制;该文章将这一思路与 OpenAI 在构建端采用的 harness 工程方法进行了对比。
用户推荐 Factory 发布的《Droid 1.0: Building a Frontier Harness》技术文章,重点介绍 Programmatic Tool Calling、按需加载工具、后台长任务以及 Agent Factory 等工程优化细节,并分享了不同模型(Opus vs Kimi)对同一优化产生相反成本效果的案例。
介绍开源课程项目 Learn Harness Engineering(21K+ ⭐),通过14节课、8个实战项目教授如何搭建让 AI 编程 agent 真正可靠运行的工程环境,支持中文。
MIT 公开课 6.S950 Agency with AI 第 5 讲讲义更新,用一个约 300 行的教学 Agent 讲解 Harness 的可观测性、可控性原则以及需要多少 Harness 的问题。
《Harness Engineering 101》是一本免费在线书籍及 GitHub 仓库,从第一性原理出发讲解如何构建 AI 智能体——将 LLM 视为大脑,将周围的 harness 程序视为身体。全书共 16 章,并附有一个不断完善的约 300 行 Python 迷你智能体示例。
Doc2Harness 提出了一个两阶段基准,直接评测 LLM 构建长周期编码代理 harness 的能力;在 19 个前沿模型中,GPT-6Astra 以 53.05% 的通过率领先,而表现最弱的模型仅为 27.44%。
一条推荐 harness engineering 论文的推文。该论文将 Claude Code (Opus 5.5)、Codex、Gemini CLI 等编码智能体都归结为一个公式:agent = model + harness,涵盖了这些智能体的构建方式、反复出现的模式、整个领域的发展方向,以及一份构建自定义智能体的清单。
Kirk Borne 分享了一份 48 页的 PDF 手册,主题是理解 AI 智能体的 Harness Engineering(线束工程),面向正在构建智能体系统的开发者。
Brendan Jowett 指出 "Harness Engineering" 正在成为新兴的 AI 技能,并推荐了一个精心整理的 GitHub 仓库,梳理了围绕 AI 智能体的基础设施 —— 上下文工程、记忆、MCP 工具、评测、编排,以及权限与沙箱。
Google Brain 创始人 Andrew Ng 预测,提示将在六个月内被 AI 代理的 Harnesses 所取代,他展示了一场关于构建能够规划、执行和验证任务的自我改进系统的讲座。
文章解释了为什么顶尖的AI Agent团队专注于Harness工程,强调了在复杂场景中,强大的运行时脚手架对于可靠执行至关重要,而不仅仅是模型智能。
对246个开源仓库和57篇关于代理框架的论文的分析,突出了最佳实践,如人工编写上下文、限制工具和增量测试,以提高AI代理的性能。
Google Research 已开始为 Agent Harness 研究递归自我改进,重点是无需模型重新训练即可自动迭代提示、工具、内存和控制流。这种 Harness 级别的方法被认为比模型级别的 RSI 更清晰、更实用。
这篇文章强调,在AI代理中,框架——包括工具、上下文、控制和工作流——对于实现可靠、安全和可追溯的结果比模型更为关键。
工具工程是一种实践,用于在AI辅助开发中维护代码质量,通过使用确定性工具和基于代理的审查来防止代码库漂移,并确保长期一致性。
两场演讲和一篇博客文章认为,在生产环境中拥有AI智能时,反馈循环和框架工程比模型权重更重要,并强调了上下文管理和成本考虑。
本文介绍了驾驭工程作为控制AI代理的关键趋势,通过设计确定性环境并使用如Google Antigravity SDK等工具,展示了团队如何通过沙箱化和修复循环来发布使用AI生成代码的软件。
本文介绍了在GitHub上发现的两本书,详细解析了Claude Code的底层架构和设计哲学,对比了Claude Code与Codex,帮助开发者理解AI编码代理的设计逻辑。
The author argues that RL environments serve as the essential data for building AI agents, enabling systematic training, prompt optimization, and evaluation rather than manual iteration.
Omar推荐阅读Chamath Palihapitiya的AI投资指南,强调harness engineering和evals对AI构建者的重要性。