通过演示而非手动编写构建代理技能:一种记录与编译的方法
摘要
一款记录与编译工具允许用户演示桌面任务,随后由LLM将操作会话转换为结构化的技能文件,供代理重放,旨在降低僵化性并降低创建可复用代理能力的门槛。
我正在自动化一项重复性的桌面任务,厌倦了手动编写代理技能文件,于是开始寻找更好的方法,发现了一个角度独特的工具——在此分享讨论。无需逐步编写自动化脚本,只需在屏幕上演示一次任务。它会记录操作会话,然后由LLM将事件日志及屏幕上下文编译为结构化的SKILL.json和可读的SKILL.md,供代理后续重放。该工具以MCP服务器运行,公开record、stop、compile和list接口,因此可接入任何MCP客户端。我觉得值得讨论的是“展示,而非编写脚本”的理念:读取原生UI事件和屏幕录制,使得生成的技能远不如僵硬的宏那样易碎,并降低了将日常工作流转化为可复用代理能力的门槛。该工具是开源的,我与它没有关联——只是另一位开发者带来的实用发现。我会在评论中附上链接。你认为基于演示的技能创建是代理的可行路径吗?还是说它在复杂、分支任务中会失效?
相似文章
一直在录制重复性任务,将它们转化为智能体技能。分享这个工具。
一个通过屏幕录制记录重复性任务,并将其编译为符合 agentskills.io 标准的可复用智能体技能的工具,以 MCP 服务器形式发布,支持跨平台使用。
@dair_ai: 如果你在构建 Web 代理,这篇关于如何让代理技能可复用的文章值得你花时间阅读。(收藏它)LLM web…
本文介绍了 SkillMigrator,一个 LLM Web 代理,它通过匹配布局结构而非领域特定元数据来学习可复用技能并在网站间迁移这些技能,在 WebArena 和 Mind2Web 基准测试中将 LLM 操作次数减少了 8-10%。
Formal Skill: 面向高效精准LLM智能体的可编程运行时技能
本文介绍了Formal Skill,这是一种面向LLM智能体的运行时原生抽象,它将可重用流程编码为可执行状态机,配有JSON元数据、Python执行器和钩子控制的逻辑。还介绍了一个名为FairyClaw的开源实现,在Harness-Bench上展示了具有竞争力的性能,且减少了token使用量。
低延迟系统中工具制作与自进化LLM代理
本文提出了一种方法,将重复的标准操作流程步骤编译为经过验证、有版本管理的工具,在部署前完成,替代推理时的代码生成。在一个配送中心的报警分类系统中,该方法将p50延迟降低了42%,端到端错误率降低了最多53%。
SKILL-DISCO:将智能体轨迹提炼并编译为可重用的程序化技能
Skill-DisCo 是一个框架,它将可重用的程序化技能从成功的智能体轨迹中提炼出来,并将其编译成可调用、可执行的程序。在 ALFWorld 和 WebArena 上的实验表明,该框架提高了成功率并减少了智能体的回合数。