我在 Hark、Instinct 和 Muse 上运行了相同的 6 项任务。第一名和最后一名仅相差 2 分
摘要
作者对 Hark、Instinct 和 Muse 三款个人 AI 代理执行相同的 6 项任务进行对比测试,Hark 以 57/60 领先,Instinct 和 Muse 均为 55/60,最高与最低仅差 2 分。Mux 编码最强,Hark 表现最稳定,整体差距很小。
相似文章
@QuixiAI:Muse Code(muse-wonder-full-1.0 high)表现真的很不错。根据我的直觉测试,它比 Astra 更好。还没那么好……
用户分享对 Muse Code (muse-wonder-full-1.0 high) 的体验测试,认为其表现优于 Astra、接近 Claude Code Fable 和 5.5 Opus,且速度更快,能处理 Codex 无法胜任的复杂编译器开发任务。
@QuixiAI: Fable 对 muse-wonder-full-1.0 的评测 "另一个智能体很有能力——成功提交了十五个扎实的 PR,机制清晰,并且……
Fable 对 AI 编码智能体 muse-wonder-full-1.0 进行了评测,指出它在一天内成功提交了十五个扎实的 PR,机制清晰,但也存在一些小的流程失误,比如运行了不必要的测试套件、遗留了过时的交接文档。与 Codex(2-3 个 PR)和 Fable(6-8 个 PR)相比,Muse 在代码产出方面生产力远超两者。
Instinct 曾是人气最旺的 AI 代理 —— 它能在 Muse 的竞争下存活吗?
Instinct 是一款通过短信界面运作的个人 AI 代理,曾以低调邀请制发布而成为热门产品;本文实测显示它在面对 Muse 和 Dots 等大厂竞争时仍保持竞争力,且其 100 亿美元估值的初创公司正专注于日常个人助理场景。
Qwen-3.8-27B、Nemotron-3.5-Lightning-30B-A3B、Ornith-1.5-35B-A3B、Muse-Glimmer-30B oQ8e 对比
对比了多个AI模型,包括Qwen、Nemotron、Ornith和Muse-Glimmer在基准测试上的表现。Ornith表现优异,而TielCoder在编程任务中展现了潜力。
八个 AI 模型,同一项媒体购买任务,每个模型尝试 12 次:两个每次都完成了任务,两个一次也没完成。
Concourse Bench v1 测试了八个AI模型在模拟媒体采购多步任务中的表现:在12次尝试中,两个模型全部完成,两个模型全部失败,整体仅有55/96次尝试完成了交易。作者向社区提问:多步任务中的可靠性差异通常源于指令遵循、工具调用稳定性,还是长程规划?