Recursive 发布 Flint

# Flint 简介 - Recursive 来源：https://recursive.com/updates/introducing-recursive-flint ## Flint 简介 我们推出了 Recursive Flint，这是一款混合专家 \(MoE\) 模型，专为在本地硬件上进行快速智能体编程而构建。Flint 的总参数量为 400 亿，每个 token 仅激活 25 亿参数。我们由人类和智能体组成的小团队，在不到四个月的时间里从零构建了它。 在 SWE\-Bench Pro v2、Terminal\-Bench 2\.1 和 SWE\-Bench Verified 等智能体编程基准测试中，Flint 领先于总参数量低于 500 亿的 MoE 模型。它的编程表现也可媲美拥有 250 亿至 400 亿参数的稠密模型，而运行速度则快五倍以上。 借助我们优化的推理引擎，在短上下文场景下，Flint 在搭载 M4 Pro 的 MacBook Pro 上每秒可生成超过 125 个 token，在配备 64GB 内存的 NVIDIA RTX Spark 上每秒可生成超过 150 个 token，速度最高可达同类模型的两倍。 构建 Flint 是对 Recursive 的 Eureka Machine 的一次实际检验。Eureka Machine 是我们用于大规模自动化 AI 研发的系统。从数据和训练方案到基础设施与推理优化，Eureka Machine 几乎参与了 Flint 模型构建技术栈的每个环节。 ##### 所报告的平均分涵盖 Terminal\-Bench 2\.1、SWE\-Bench Pro v2、SWE\-Bench Verified、LiveCodeBench v6、IFBench 和 IFEval。速度：在一次包含 12.8 万个 token 的会话中的平均 token/秒。\*Muse 在 12.4 万个 token 下测量。不含预填充阶段。 ## 业界领先的本地智能体编程性能 在智能体编程基准测试中，Flint 是总参数量低于 500 亿的 MoE 模型中表现最好的模型。它可媲美总参数规模相近的最强稠密模型，同时运行速度显著更快。 ##### Flint 所有评估的采样参数：temperature：1\.0，top\-p：0\.95，top\-k：20。\(1\) LiveCodeBench v6 / IFBench / IFEval：单轮，取 5 次尝试的平均 pass@1。\(2\) 智能体评估：智能体超时时间最长为 5 小时，取至少 5 次尝试的平均 pass@1。Terminal\-Bench 2\.1：使用 Terminus 2 \(XML\)，可访问互联网，通过检索获得的解决方案计为失败。SWE\-Bench Pro v2 和 SWE\-Bench Verified：使用 mini\-swe\-agent，不可访问互联网。 对于希望在本地运行的任务，你可以将 Flint 用作日常编程模型，无需将数据发送到远程服务器。处理复杂任务时，请将工作拆分为较小的子任务，并提供明确的指令。虽然 Flint 能力很强，但与惯用的大型闭源编程模型相比，它可能需要更多指导。 Flint 支持最长 51.2 万个 token 的上下文窗口。为了在编程及其他任务中获得最佳效果，我们建议将上下文控制在 25.6 万个 token 以内。 为了将 Flint 的计算效率转化为更快的编程体验，我们优化了整个推理技术栈，从权重的表示方式，到在本地硬件上执行模型的内核。 ## 在本地 AI 设备上实现快速推理 Flint 将强大的编程能力带到你自己的硬件上，让你能够离线工作、将数据保留在自己的电脑上，并免去 API 费用。 借助我们优化的推理引擎，Flint 在 Apple Silicon 和 NVIDIA RTX Spark 上的运行速度最高可达同级别其他模型的两倍。与在编程基准测试中获得相近分数、参数量为 250 亿至 400 亿的稠密模型相比，它的速度也快五倍以上。 ## 我们如何通过自动化研究构建 Flint Recursive 的 Eureka Machine 将完整的研究循环自动化：提出想法、实现想法、进行测试，并根据结果决定下一步尝试什么。它会并行探索多个方向，在先前实验的基础上继续推进，并结合有前景的想法。我们此前的博文 (https://recursive.com/updates/first-steps-toward-automated-ai-research)介绍了该系统及其在最初测试问题上取得的成果。 Eureka Machine 参与了 Flint 的整个开发过程，从数据、优化器和训练方案，到基础设施和推理性能。它的发现帮助我们的小团队在不到四个月的时间里从零构建了 Flint，并在目标基准测试中取得了业界领先的成绩。 Flint 的本地推理速度展示了这些贡献如何在模型构建技术栈中层层叠加。 **架构。**我们首先寻找一种架构，通过减少每个 token 激活的参数量来提高本地硬件上的吞吐量。以总参数量为 350 亿、激活参数量为 30 亿的基线模型为起点，Eureka Machine 探索了不同的专家配置和宽度。最终得到的 Flint 架构总参数量为 400 亿，每个 token 激活 25 亿参数。预计在 Eureka Machine 测试过的配置中，这一架构能够实现速度与编程性能的最佳组合。 **量化。**训练完成后，Eureka Machine 搜索了能够缩减 Flint 内存占用、同时保留其能力的量化方案。与通常做法不同，它将输出层 \(lm\_head\) 量化为 4 位。由于 Flint 的激活参数量仅为 25 亿，输出层在每个 token 所需读取的权重中占有较大比例。为了恢复准确率，它增加了一个离线蒸馏阶段：以 16 位模型为教师，让量化模型使用其自身针对自主发现的核心集预先采样生成的回答进行训练。与我们的量化感知训练基线相比，这使训练步数减少了近一半。在我们的各项基准测试中，最终 NVFP4 模型与 16 位模型的分数差距在 0\.7 分以内。 **内核。**随后，Eureka Machine 优化了量化模型在 Apple Silicon 和 NVIDIA RTX Spark 上的运行方式。它针对模型和硬件，为低比特投影、MoE 运算、注意力和提示处理生成了专用内核。在 M4 和 M5 芯片上，它生成了一个 Metal 巨型内核，将整个解码前向传播过程融合在一起。 Flint 的推理速度体现了 Eureka Machine 的各项改进如何相互促进。我们在整个开发过程中采用了同样的方法，将数据、训练和基础设施方面的发现结合起来，改进最终模型。 ## 运行 Flint Flint 的权重已在 Hugging Face (https://huggingface.co/RecursiveSI/flint)上以 Apache 2\.0 许可证发布。你可以下载模型，在本地运行并将数据保留在自己的设备上，也可以针对自己的应用对其进行调整。 Flint 支持 llama\.cpp、Ollama、Unsloth、LM Studio、vLLM 和 SGLang 等工具与框架。我们还发布了 rec (http://github.com/recursive-oss/rec)，这是一个针对 Flint 在 M4 Pro 和 M5 Pro/Max 上运行而优化的轻量级推理引擎，设置简单，可让你快速开始使用。 设置说明和示例请参阅我们的文档 (http://docs.recursive.com/getting-started)。 ## 下一步 Recursive 的目标是构建能够递归自我改进的超级智能，实现知识发现的自动化。我们从模型开发入手，构建一种研究流程，使其随着每个模型的产出而不断改进。 Flint 是我们的起点。我们的小团队在不到四个月的时间里从零构建了它，期间 Eureka Machine 在模型构建技术栈的各个环节提出想法、实现想法，并测试它们是否有效。 我们相信，能力更强的模型可以让 Eureka Machine 成为更出色的研究者，帮助我们更快地构建下一代模型，并以相同成本提供更强的能力。这项工作将涵盖能力不断增强的本地模型及其运行所需的基础设施，也是我们推动 AI 研发这一更广泛努力的一部分。 如果你希望帮助构建这样的未来，欢迎加入我们 (https://www.recursive.com/join-us)\!