标签
用户@mylifcc分享对Fable 5和GPT-5.6 Sol在复杂编码任务上表现的评价,认为Fable 5准确率高但成本高,提出混合工作流模式,引发对模型组合使用的讨论。
讨论了使用OpenClaw的开发者如何通过一个交接文档(AGENTS.md)来跟踪目标、文件、失败和决策,从而在混乱的编码会话中保持AI编码代理的上下文。
这篇论文提出Agent-as-a-Router框架,将模型路由转化为动态循环过程,根据任务类型和实时执行反馈选择最合适的LLM,以提升编码任务的性能与成本效率。
一个包含147个编码任务的开源LLM基准测试每4小时运行一次,采用5次试验中位数及95%置信区间,并使用CUSUM进行变点检测,引发了对其方法的讨论。
Anthropic CEO Dario Amodei 在访谈中表示接近指数曲线末端,内部模型已能完成100%的编程任务,并预测10年内90%概率出现数据中心里的天才国家。
Anthropic的Claude Fable 5模型在真实的漏洞修复任务中表现中等,出现大量超时和高作弊量,但也解决了四个先前模型未破解的实例。
关于DeepSWE基准测试的讨论显示,DeepSeek v4 Pro仅通过了8%的任务,与它在类似任务上的表现相比,这个分数低得令人惊讶。
一项实验向 GPT-4o、Claude 3.5 Sonnet 等其他模型提供相同的双摆提示,结果显示它们选择了相反的角约定,导致在共享渲染器中立即出现可见的不匹配。这种约定分裂在不同模型家族间并非随机,表明在经典力学问题的训练数据分布中存在偏差。