CLiF 发布:全栈轨迹的持续学习(阅读约 8 分钟)

TLDR AI 产品

摘要

CopilotKit 推出 CLiF 早期访问版本,可将用户在产品中的完整操作轨迹(通过 AG-UI 协议捕获)转化为智能体所需的技能、评测和微调数据,且完全可自托管、数据可导出。

CopilotKit 发布了 CLiF,这是一款从全栈轨迹进行持续学习的工具,使用 AG-UI 协议同时捕获智能体的追踪记录和用户的操作行为。
查看原文
查看缓存全文

缓存时间: 2026/10/14 18:32

# 推出 CLiF:基于全栈轨迹的持续学习 来源:https://www.copilotkit.ai/blog/introducing-clif 我们今天正式推出 [CLiF](https://go.copilotkit.ai/clif-page)——基于全栈轨迹的持续学习(Continual Learning from Full-Stack Trajectories),现已开放早期体验! CLiF 将客户和员工已经在你的产品中完成的工作,转化为你的 Agent 在生产环境中可靠完成相同工作所需的技能(Skills)、评测(Evals)和微调数据。它完全支持自托管,所有产出均可自由导出。 你的 Agent 此前已经可以在 [CopilotKit Intelligence](https://www.copilotkit.ai/copilotkit-intelligence) 中从自身的对话中学习。CLiF 现在通过 AG-UI 协议,安全地捕获工作的两侧——Agent 轨迹与用户操作。 想了解 CLiF 能为你的产品带来什么,[预约演示](https://go.copilotkit.ai/clif-page),我们的工程师将在你的实际场景上现场演示。 下面是我们的设计初衷,以及为什么每个 Agent 产品都需要全栈轨迹。 ## 为什么 Agent 在进入生产环境前停滞不前 像 Claude 和 Codex 这样的 Agent 现在已经可以独立承担完整的任务。你的用户希望在你的产品中获得同样的体验——无论是通过内置 Agent,还是他们接入的任何外部 Agent。 但即使是使用 Fable 和 Astra 等顶级模型的 Agent,也很难在你的产品中以足够的稳定性、合理的成本和速度持续完成复杂的端到端任务,达到可以上线部署的水平。 在大规模发布 Agent 的公司中,模式大同小异:你为最重要的流程手动生成数千条评测用例,然后逐步改进 Agent,直到它通过足够多的用例才能上线。 这项工作又慢又昂贵: - **提示词(Prompts)**随着每个边缘情况不断膨胀。 - **框架(Harness)**代码堆满了特例:硬编码的步骤顺序、额外的检查、自定义重试逻辑。 - **记忆(Memory)**随着每次对话不断累积,而 Agent 无法分辨哪些内容真正重要。 - **微调(Fine-tuning)**总是排在最后,甚至根本不做,因为难以收集到正确的数据。 即使在上线之后,用户仍然需要不断引导 Agent——指导它、纠正它、补充它遗漏的上下文。然后下一次对话开始,它又需要同样的帮助。 与此同时,每天使用你的产品的人,恰恰在做着这些工作。 ## 你的用户已经在你的产品中完成了这些工作 你的客户和员工已经清楚地知道该采取哪些操作、以什么顺序来完成任务——他们已经做过成百上千次。而你的 Agent 却需要从提示词、技能和数百个工具及 API 中推断出这一切,所以它只能猜测、重试,或者把任务交还给用户。 > 假设你在运营一个客服平台。客服人员收到一个工单:"我被重复扣费了。"他们查看套餐计划,找到重复扣款,然后因为客户是年费套餐,他们选择发放账户余额而不是退款——这是他们团队的一贯做法。没有任何文档或提示词写明了这一点。 你可以把这条规则加到提示词里。但类似的规则有数百条,你只能在 Agent 犯错时才能发现遗漏了哪些。 产品已经为看仪表盘的人记录了点击、漏斗和会话回放。但要教会 Agent 这项工作,你需要的是轨迹——在工作发生时被安全捕获的完整记录:无论是人还是 Agent,完成一项任务所采取的每一步操作。 在你的产品中,这就是产品轨迹:支撑一个任务的每一次点击、每一次 API 调用和每一段 Agent 对话。 通过产品轨迹: - 你的 Agent 每天都能从客户和员工的实际工作方式中持续改进。 - 出现频率最高的问题会优先得到修复。 - 在 Agent 使用任何变更之前,你都可以先进行审批。 手工处理的话,你每天只能做一两个修复,而且通常是在客户已经投诉之后。使用产品轨迹的团队可以在前两周内看到重复性任务的显著减少,降幅高达 80%。 ## 基于全栈轨迹的持续学习 [CLiF](https://www.copilotkit.ai/clif) 是 [CopilotKit Intelligence](https://www.copilotkit.ai/copilotkit-intelligence) 的一部分,通过 [AG-UI(Agent-User Interaction Protocol)](https://github.com/ag-ui-protocol/ag-ui) 捕获的全栈轨迹进行学习。AG-UI 是一个开放协议,用于将 Agent 连接到面向用户的应用,得到了 Google、Microsoft、Amazon 以及大多数生态系统的支持。 AG-UI 位于你的 Agent 和用户之间的任何界面上,因此它能同时看到工作的两侧: - **Agent 轨迹(agent trace):** Agent 每一次运行、每一次工具调用和状态变更,以及它返回了什么。 - **产品轨迹(user actions):** 用户屏幕上的内容、他们点击的按钮,以及他们触发的服务器请求。 两者合在一起,就构成了一条全栈轨迹。 由于基于 AG-UI 运行,CLiF 可以与任何 Agent 框架和底层模型配合使用,无论你的 Agent 是部署在 Web 应用、移动端、Slack 还是 Teams 中。 CLiF 会定期审查新的轨迹并发现模式,包括人们默默绕过的那些"痛点"。这些痛点通常会在数千次会话中反复出现,明确告诉你的 Agent 下一步该学什么。 CLiF 将这些模式转化为待审批的技能建议,一旦你批准,它们就能无需重新部署即可送达你的 Agent。 技能是起点。在此之上,我们希望每个团队都能掌握完整的循环: 1. 将每一次 Agent 和用户操作安全地捕获为轨迹。 2. 使用 Agent 对这些数据进行大规模分析和理解。 3. 将其转化为评测用例和测试环境。 4. Agent 与人类共同审查结果。 5. 为最重要的任务微调更小、更快的开源模型。 在真实产品上体验 CLiF 的运作方式:[copilotkit.ai/clif](https://go.copilotkit.ai/clif-page)。 ## 全栈轨迹能给你带来什么 CLiF 将它们转化为: - **技能(Skills):** 为你的 Agent 或 MCP Server 构建,基于跨轨迹的模式提炼而成。 - **基于生产环境的评测:** 基于用户实际操作构建,可直接接入你现有的评测平台。 - **微调数据集:** 用于在最重要的任务上运行更快、成本更低的小模型。 - **全栈轨迹:** 可导出至任意可观测性平台。 所有这些都可以与你现有的可观测性和评测工具链无缝配合。 你的产品被使用得越多,Agent 就能接管越多的工作。 ## 从 Agent 轨迹中学习,现已上线 与你的 Agent 的每一次对话都是一条 Agent 轨迹,存储在 [AG-UI Streams](https://docs.copilotkit.ai/threads) 中:消息、工具调用、生成式 UI、状态等。当用户纠正 Agent、要求不同的输出格式,或者补充它遗漏的上下文时,这些就成为 CLiF 可以学习的信号。 在 CopilotKit Intelligence 中,你可以将这些轨迹组织到[学习容器(learning containers)](https://docs.copilotkit.ai/learning)中——例如一个用于费用审核,另一个用于新员工入职。每个容器只从自己的线程中学习,因此从费用审核中学到的技能不会外溢到其他场景。 每次学习运行都会产生产品洞察(Product Insights):这些对话中反复出现的请求和痛点,每一条都关联到背后的线程。当证据充分支持一条可复用的经验时,CLiF 会将其提议为一项技能。 每个提议的技能都是一个 `SKILL.md` 文件,你可以审查、批准,并随项目一起发布。已批准的技能无需重新部署即可送达你的 Agent,且每一条都保持可读和可回滚。 围绕这个闭环,Intelligence 还支持: 1. **导入你已有的线程**——来自 LangGraph Server 或 LangSmith Deployment,让你无需从零开始。 2. **手动运行分析**,或者在容器中至少有 15 条合格线程后按计划自动运行。 3. **自动交付技能**——通过适配器支持 LangGraph(Python 和 TypeScript)、Mastra、Google ADK、Microsoft Agent Framework 以及 CopilotKit 内置 Agent。只需将一段提示词粘贴到你的编码 Agent 中即可完成配置。 4. **通过 CLI 下载已发布的技能**——以纯 `SKILL.md` 文件格式,供任何其他 Agent 使用。 ## 完全支持自托管 CLiF 完全支持自托管,你的数据始终留在自己的网络内。你可以通过我们的 Helm Chart 在自己的 Kubernetes 集群上[自托管 CopilotKit Intelligence](https://docs.copilotkit.ai/intelligence/self-hosting),也可以部署在 AWS ECS/Fargate 上。 你自带 Postgres、Redis 和身份提供者(如 Okta、Azure AD 或 Keycloak),密钥保存在你已有的存储中。你的轨迹、技能以及从中学习到的一切都保留在你的 VPC 或本地环境中。你也可以将 trace 发送到自己的 OpenTelemetry 收集器。 从 Agent 轨迹中学习的功能也在我们的[托管云服务](https://docs.copilotkit.ai/intelligence/managed-intelligence-platform)上运行,以实现最快的部署。 我们的工程师可以协助你完成部署。如果你正在规划企业级自托管部署,[预约通话](https://copilotkit.ai/talk-to-an-engineer),我们会与你一起梳理整个流程。 ## 开始使用 从 Agent 轨迹中学习的功能现已可用,产品轨迹处于[早期体验](https://intelligence.copilotkit.ai/?early_access=automatic_learning)阶段。 想看看 CLiF 在你的产品上的效果?[预约演示](https://go.copilotkit.ai/clif-page),我们会基于你的实际场景,展示全栈轨迹如何生成精准的评测用例和技能,让你的 Agent 成功率达到上线标准。 我们还将在 10 月 15 日太平洋时间上午 9 点举办 CLiF 线上直播,[点击报名](https://luma.com/copilo-sxr2)。 了解更多: - CLiF:[copilotkit.ai/clif](https://go.copilotkit.ai/clif-page) - 学习文档:[docs.copilotkit.ai/learning](https://docs.copilotkit.ai/learning) - 自托管 Intelligence:[docs.copilotkit.ai/intelligence/self-hosting](https://docs.copilotkit.ai/intelligence/self-hosting) - AG-UI:[docs.ag-ui.com](https://docs.ag-ui.com/) Agent 生态系统正在从 Agent 轨迹迈向全栈轨迹。那些让 Agent 从实际工作方式中学习的产品,将会脱颖而出。 在 [Twitter](https://go.copilotkit.ai/socials-twitter) 上关注 CopilotKit 获取最新动态。如果遇到问题,欢迎加入 [CopilotKit](https://go.copilotkit.ai/discord) 或 [AG-UI](https://go.copilotkit.ai/AG-UI-Discord) 社区交流。

相似文章

@seclink: 开发者正从“一次性提示词”转向“智能体循环”模式——即让像 Anthropic 旗下 Claude 这样的 AI 自主设定目标、利用工具执行操作、观察结果并不断迭代,直至任务成功。 Claude Code 的开发者 Boris Chern…

X AI KOLs Following

开发者正从一次性提示词转向'智能体循环'模式,让AI自主设定目标、利用工具迭代执行任务。Claude Code的开发者Boris Cherny已彻底放弃传统IDE,转而运行数百个智能体来监控问题和合并PR,甚至仅靠手机完成这些工作。

CLAP:领域智能体后训练的闭环训练、评估与发布控制

arXiv cs.AI

CLAP提出了一种面向领域智能体后训练的闭环方法,将含噪业务数据转化为结构化的SFT和偏好样本,并结合奖励/KL诊断、离线门控以及应用链路重放来决定适配器是否发布。在五个制造批次上的实验显示平均增益适度,并强调回归和高KL风险需要集成的数据-训练-评估-发布循环,而非依赖单一评分。