标签
介绍了 Long-Horizon-Terminal-Bench，这是一个包含46个长时程终端任务的基准，采用密集奖励评分，评估AI智能体在规划、长上下文和调试方面的能力。即使是最强模型也仅达到15.2%的pass@1，显示仍有很大的改进空间。
Cohere 和 Cohere Labs 发布了 North Mini Code，这是一个开放权重的 30B-A3B 参数模型，针对代码生成、智能体软件工程和终端任务进行了优化，在 SWE-Bench 和 Terminal-Bench 上取得了强劲的基准测试结果。
Cohere Labs 发布了 North Mini Code，一个拥有 30B 参数（3B 活跃）的开放权重模型，针对代码生成、智能体软件工程和终端任务进行了优化，基于 Apache 2.0 许可。
本文介绍了TerminalWorld，这是一个基于80,870个终端记录构建的、用于在真实终端任务中评估AI智能体的基准。当前系统最高仅达到62.5%的通过率，凸显了真实终端工作流中的挑战。