@slash1sol: 这太他妈疯狂了。中国研究者刚刚放出一篇论文,标题足以让每一个 agent 框架都坐立不安……
摘要
中国研究者发表题为《The End of Harness Engineering》的论文,主张围绕模型编写的程序性 harness 应由自动化循环自动生成并打分迭代,人类只需负责编写评测集,而大模型本身保持不变。
查看缓存全文
缓存时间: 2026/10/18 13:12
这简直太TM疯狂了。
中国研究人员刚刚发表了一篇论文,标题足以让所有 agent 框架集体紧张:《The End of Harness Engineering》。
整个论点一句话就能说清:围绕模型写程序这件事,作为一门手艺已经结束了。
人写的 harness,就是某个下午、某个人、针对某一个任务的一次猜测。代码发布出去,没人再重读,没人给它打分,而 agent 就这样带着这个猜测跑上好几个月。
由循环(loop)写出的 harness,则是一个会给自己打分的文件。一个小小的 4B 模型阅读失败信息,写下 8 处修改,最终只有在留出问题集上得分最高的那一处得以保留。
大模型本身从不改变。围绕它的那个文件,每一轮都在变。
于是人的工作坍缩成唯一一个产物:评分集。你只写题目,永远不写程序。
框架变成一次性的。出题考试本身成了工作。
这正是我下方构建并记录下来的那套循环:一个 http://harness.py、300 个 Kimi K3 workers、41 轮中的 37 次重写,其中我亲手打开过的次数为零。
整篇论文浓缩成一句话:先出考卷,再写代码 ↓
相似文章
@levie:好吧,这项研究相当酷,而且最终必然会成为智能体的架构。到极限时,AI 显然会……
Box 首席执行官 Aaron Levie 吐槽/点评了一项关于 AI 智能体架构的新研究,认为最终智能体会自行确定其运行框架,并引用 Pedro Domingos 的说法称:“模型吞掉了运行框架。”
@NFTCPS: HarnessX这玩意儿挺有意思:一个能自己改自己的智能体架构。 以前架构怎么变,全靠人手调。新模型一出,Anthropic就把Claude Code里的规划步骤砍了,Manus半年重构了五次智能体,每次都在做减法。改什么、什么时候改,一…
HarnessX introduces a framework for self-evolving AI agent harnesses that treats the runtime harness as a first-class object, enabling automatic adaptation via trace-driven reinforcement learning. It achieves average gains of +14.5% across five benchmarks, with larger improvements for weaker models.
@omarsar0: // 自我束具:能自我改进的束具 // (收藏这个)我们今天依赖的大多数智能体框架…
本文介绍了自我束具(Self-Harness),一种新的范式,其中基于LLM的智能体能够迭代地改进自身的操作束具——包括提示、工具和控制流程——无需人类工程师或更强大的外部智能体,在多个模型上取得了显著的性能提升。
@AYi_AInotes: 说个反常识的判断, 80% 的 Agent 生产崩溃,跟模型智商没半毛钱关系, 基本都死在上下文溢出、工具调错、子代理失控上, 2026 年真正的分水岭在 Harness 和 Loop,不是模型啊, 兄弟@wizardly_ai 这篇工程…
这篇文章指出80%的AI Agent生产崩溃并非模型智商问题,而是由上下文溢出、工具调错、子代理失控引起。作者强调2026年的分水岭在于Harness(办公室制度、安保系统)和Loop(自动循环机制),而非模型本身。
@omarsar0:密切关注评测框架,第 2 部分。上周我分享了一篇论文,其中一个模型在经…后,得分提高到原来的两倍以上
推文讨论了 harness(运行环境/框架)对模型表现的重要性,并介绍了 Kylon——一个面向人类与 AI 代理的「公司级 harness」,让团队把 Codex、Claude、Cursor 等已有的代理放进共享房间协同工作。