以100倍更便宜的开源模型在检索任务上击败GPT-5.6 Sol

# Castform + Neon 如何在价格和效率上击败前沿模型 来源: https://neon.com/blog/how-castform-neon-beats-frontier-models-on-price-and-efficiency 根据推理成本和平均评估奖励对 Castform 微调与前沿模型进行比较 > “大多数团队最好的训练数据就躺在他们的数据库里。问题在于，把原始数据变成可用的东西很难，而让代理在大规模下廉价地阅读、搜索和修改数据需要高级基础设施。将 Castform 指向 Neon 可以同时跳过这两点。”——Ying Hang Seah，Castform 联合创始人 一个“好代理”需要在两个领域表现出色： - **上下文**：我们能否提供工具来找到正确的数据？ - **模型**：模型能否决定要搜索什么？ Neon (https://neon.com/)\(Lakebase Postgres\) 及其 newSearch (https://neon.com/blog/lakebase-search-on-neon) 扩展解决了前者；Castform (https://castform.com/) 解决了后者。 大约在 2022 年，行业全力投入嵌入搜索。每个数据库提供商都加入了一个，pgvector 是 Neon 下载量最大的扩展。为了给 LLM 提供上下文，工程师手工构建了 RAG 管道，这本质上就是某种形式的嵌入相似度搜索。 大约在 2025 年，代理开始获得更多关注。开发人员开始创建多跳搜索工作流，将大问题分解为更小的问题。检索已经从一次性搜索系统转向代理式检索。模型不再发出单个查询，而是在循环中计划并多次搜索。每次循环迭代都意味着再次调用前沿模型，从而增加了每个用户请求的总体成本和延迟。 传统 RAG 管道与代理式搜索工作流的对比 具体来说，一个典型的基于 gpt-5.6-sol 的多轮搜索请求需要 >10 秒且端到端成本约为 0.03 美元，这使得它慢且昂贵得令人望而却步。 与此同时，小型开放权重模型要便宜 100 倍。但是，开箱即用时，它们的能力落后于闭源 API 模型。RL 后训练有助于弥合这一差距。在搜索等特定任务上，后训练的开源模型可以匹敌并超越前沿模型，同时每次请求的成本要低几个数量级。 这就是我们构建 Castform 的原因：让开发人员无需处理机器学习和 GPU 内部细节就能对模型进行 RL 后训练。目标是让后训练变得像提示工程一样易于上手。 Castform 的管道通过 Lakebase Search 在 Neon 上运行： | 阶段 | Neon + Lakebase Search | | --- | --- | | 语料库存储 | 原始文档存放在 Neon 上的 Postgres 中 | | 合成数据生成 | Castform 训练管道使用 `lakebase_text` 和 `lakebase_vector` 写入训练任务 | | RL 训练 | 每次 rollout 的搜索工具调用都使用 Neon 上的 Lakebase Search | | 生产推理 | 最终模型在推理期间使用相同的搜索工具调用 | 要有效执行 RL 后训练，你需要一个任务（例如回答用户的问题）、代理运行的环境（例如针对你的语料库的搜索工具）和一个奖励函数（例如答案是否正确？）。 有了这三部分，RL 后训练就是一个试错循环：模型在给定工具的情况下尝试任务，奖励函数对尝试进行评分，反馈信号指导模型如何爬山式地优化自身表现。 然而，大多数公司并没有一套干净的任务和奖励函数数据集用于后训练。 企业确实有大量专有数据： - 内部文档 - 产品记录 - 支持文章 - 客户互动 - Wiki - 运营数据库 这些数据包含代理所需的知识，但将其转化为有效的训练数据集通常需要大量的数据工程和人工标注。 这让许多团队出于以下两个原因之一放弃后训练： - “我们没有训练数据。” - “微调太难了，需要我们没有的基础设施。” Castform 同时解决了这两个问题。它将现有语料库转化为训练任务 (https://castform.com/blog/rag-to-riches/)，然后管理教授开源模型如何有效使用这些数据所需的 RL 循环。 使用 Castform，你可以将公司知识库转化为一个模型： - **文档（来自你的数据）：** 通过 Navan 预订的火车将由 GitLab 旅行卡支付。火车旅行必须是标准舱位，且需要提前 14 天预订 - **真实答案（从你的数据推断）：** 火车旅行必须是标准舱位，且需要提前 14 天预订。 - **问题（合成生成）：** 在 Navan 预订火车旅行时，关于需要提前多久预订以及我应该选择哪个座位等级，有什么规则？ 利用生成的问答数据集，Castform 允许你通过指定代理可访问的工具和奖励函数来搭建训练运行。 奖励函数指定了你希望模型擅长什么。在我们的例子中，我们希望它检索到正确的分块，引用正确的来源，并提供正确的最终答案。 ```python def run_tool(tool, tool_args): """单一工具：对 Lakebase 进行混合搜索。""" if tool == "search": query = tool_args["query"] bm25 = neon.lakebase_text(query, k) vector = neon.lakebase_vector(query, k) return rrf_merge(bm25, vector, k) def reward(trace, ground_truth): """根据真实答案对轨迹进行评分。""" answer = parse_trace(trace) retrieval = ... # 是否检索到正确的来源 citation = ... # 是否引用了正确的分块 correctness = ... # 是否得到正确的答案 return retrieval + citation + correctness ``` 请参阅此处 (https://github.com/castform-ai/benchmax/tree/main/examples/neon_rag) 的完整代码示例。 Castform 让你完全可观测 RL 运行。你可以监控每一步奖励的上升，但更重要的是，你可以进入单个任务/提示，观察模型在定性方面的表现，从而调试诸如工具损坏或奖励黑客等问题。 关于如何监控训练运行的更多细节，可以查看 Castform 博客 (https://castform.com/blog/monitoring-rl-runs/)。你也可以在此处 (https://app.castform.com/train/a7a898f6-d802-4908-b044-acb812f14a48?tab=train) 查看我们的示例训练运行。 平均奖励随训练步骤变化 平均奖励 在训练期间，代理会反复调用 Lakebase Search，直到它有足够的上下文来回答问题。在数千个并行的 rollout 中，每个 rollout 可能进行数十次调用，这会产生高度突发的工作负载。 Castform 训练运行期间的 Neon CPU 分配和使用情况 Neon 的动态计算扩缩容可以吸收这些峰值，而无需 Castform 全天候按最大容量进行预置。训练运行在需求高峰时获得低延迟搜索，而在空闲期间计算资源会缩减。 随着代理超越搜索并开始修改数据，这种基础设施变得更加有价值。训练有状态代理需要可以廉价创建和重置的隔离环境，以防止一次 rollout 的操作影响另一次 rollout 或触及生产环境。 Neon 分支 (https://neon.com/docs/introduction/branching) 可以为每个 rollout 提供隔离的数据库状态，而时间旅行查询可以重建并检查代理遇到的状态。结合自动扩缩容和缩容到零，这为训练数千个有状态代理 rollout 创造了一条路径，而无需维护数千个持续运行的环境。 *Castform 让任何开发人员都能轻松地对开源模型进行后训练，使其比前沿模型更便宜、更快、更好。今天就到 castform.com (https://castform.com/) 训练你的第一个模型。*