我在 Hark、Instinct 和 Muse 上运行了相同的 6 项任务。第一名和最后一名仅相差 2 分

Reddit r/AI_Agents 新闻

摘要

作者对 Hark、Instinct 和 Muse 三款个人 AI 代理执行相同的 6 项任务进行对比测试,Hark 以 57/60 领先,Instinct 和 Muse 均为 55/60,最高与最低仅差 2 分。Mux 编码最强,Hark 表现最稳定,整体差距很小。

我想看看个人 AI 智能体之间的热度差距到底有多大实际意义,于是我在全新的聊天中,让 Hark、Instinct 和 Muse 完成了相同的 6 项任务,采用同一套评分标准,每项满分 10 分:Hark:57/60 Instinct:55/60 Muse:55/60 任务包括:一道逻辑谜题、一项研究任务(找到一款近期推出的免费 AI 工具,并附上来源)、一个带测试的 Python 函数、一个预算低于 20 美元的周末硬件项目、一份单页 AI 工作流指南,以及一项实时浏览器操作任务。亮点如下:- Muse 最擅长构建。编程和工程设计两项均为 10/10。它提出的硬件创意“Leash”是一个实体终端,用于批准或拒绝智能体的敏感操作。它的弱项是研究(7/10),主要问题在于工具选择。- Hark 表现最稳定。逻辑、编程和浏览器任务均获满分(我全程观看了它的实时操作)。它提出的“AgentMeter”是一款测量智能体所用硬件功耗的小装置,成本低于 20 美元。所有项目均不低于 9/10。- Instinct 在逻辑和指南两项上获得满分,指南涵盖了任务委派、成本节约、多智能体工作流和验证。最弱的一轮是工程设计(8/10),它的硬件概念不如另外两款吸引人。注意事项:每项任务只测试了一次,提示词难度适中,由人工在 GPT 辅助下评分。有几轮的回答缺少信息,所以我回头补取了这些信息,并根据评分标准调整了分数——这些数字只能作为大致排名的参考,不应奉为圭臬。最大的收获:在中等难度任务上,最高分与最低分仅差 2 分。接下来我想进行限时速度测试和失败恢复测试。你希望第二轮加入哪些任务?
查看原文

相似文章

@QuixiAI: Fable 对 muse-wonder-full-1.0 的评测 "另一个智能体很有能力——成功提交了十五个扎实的 PR,机制清晰,并且……

X AI KOLs Following

Fable 对 AI 编码智能体 muse-wonder-full-1.0 进行了评测,指出它在一天内成功提交了十五个扎实的 PR,机制清晰,但也存在一些小的流程失误,比如运行了不必要的测试套件、遗留了过时的交接文档。与 Codex(2-3 个 PR)和 Fable(6-8 个 PR)相比,Muse 在代码产出方面生产力远超两者。