RecursiveSI/flint(40B A2.5B)· Hugging Face
摘要
Recursive 在 Hugging Face 上发布了 Flint,这是一款总参数量为 400 亿、激活参数量为 25 亿的混合专家编程语言模型,在 SWE-bench Pro v2 和 SWE-bench Verified 上的得分分别为 89.7% 和 74.2%,并提供 SGLang 推理服务套件和量化版本。
查看缓存全文
缓存时间: 2026/10/21 16:26
RecursiveSI/flint · Hugging Face
来源:https://huggingface.co/RecursiveSI/flint Flint 标志
Recursive Flint
博客 (https://www.recursive.com/updates/introducing-recursive-flint)|Hugging Face (https://huggingface.co/RecursiveSI)|本地引擎 (https://github.com/recursive-oss/rec)|文档 (https://docs.recursive.com/getting-started)
Flint 是 Recursive 面向编程智能体的混合专家语言模型,总参数量为 398 亿,每个词元激活约 25 亿参数。它旨在探索代码库、修复错误、实现功能和编写测试。
Flint 支持文本输入和输出、推理以及多轮工具使用。在我们的发布评估中,它在 Terminal-Bench 2.1 上的得分为 54.9%,在 SWE-bench Pro v2 上为 89.7%,在 SWE-bench Verified 上为 74.2%。
本仓库包含 BF16 检查点、模型配置、分词器、聊天模板以及 SGLang 服务套件。针对 NVIDIA 和 Apple Silicon 运行时的量化版本另行提供。
https://huggingface.co/RecursiveSI/flint#evaluation评估
Flint 基准测试表现:将 BF16 和 NVFP4 检查点与在类似硬件上运行的本地模型进行比较 (https://huggingface.co/RecursiveSI/flint/blob/main/assets/flint_benchmarks_nvfp4.png)
Flint 的结果使用温度 1.0、top-p 0.95 和 top-k 20。Terminal-Bench 使用 Terminus 2;SWE-bench 使用 mini-swe-agent。智能体任务得分报告至少五次尝试的平均 pass@1。† 表示由 Recursive 测得的分数;其他对比分数由开发者报告。
各来源的评估设置有所不同。Flint 的 Terminal-Bench 得分将通过网络检索获得的解答计为失败;开发者报告的分数可能未进行相同调整。
https://huggingface.co/RecursiveSI/flint#model-specifications模型规格
属性Flint开发者Recursive架构仅解码器混合专家 Transformer总参数量398 亿每个词元的激活参数量约 25 亿,包含输出头1层数49:2 个稠密层,随后是 47 个 MoE 层注意力35 个滑动窗口层和 14 个全注意力层滑动窗口513 个词元:当前词元及其前面的 512 个词元注意力头32 个查询头和 4 个键/值头;头维度为 128注意力归一化逐头 QK RMSNorm 和逐头可学习的注意力汇聚点位置编码滑动窗口层使用 RoPE;全注意力层不使用位置编码每个 MoE 层的专家数256 个路由专家,每个词元选择其中 6 个,另有一个始终激活的共享专家文档所述的上下文配置262,144 个词元,包含提示和生成输出词表150,144 个词元输入 / 输出文本 / 文本声明的知识截止时间2026 年 6 月 1 激活参数的统计口径包含输出头,不包含完整的输入嵌入矩阵。仅激活的主体部分约有 22 亿参数。“40B-A2.5B”是经过取整的模型规模名称。
https://huggingface.co/RecursiveSI/flint#getting-started快速入门
使用 sglang/ 中的 SGLang 套件时,Flint 的每个副本可在一张 B300 或 H200 GPU 上运行。目前尚未包含 Transformers 建模代码。
pip install -U huggingface_hub openai hf download RecursiveSI/flint --local-dir flint && cd flint # 约 80 GB docker build -t flint-sglang sglang docker run -d --name flint --gpus '"device=0"' --ipc=host -p 127.0.0.1:30000:30000 \ -v "$PWD:/model" -e MODEL=/model flint-sglang bash /model/sglang/serve_b300.sh # H200:serve_h200.sh until curl -sf localhost:30000/health_generate >/dev/null; do sleep 15; done # 进度:docker logs -f flint python3 sglang/example_client.py --base-url http://localhost:30000/v1 # 推理和一次工具调用
`` from openai import OpenAI
client = OpenAI(base_url=“http://localhost:30000/v1”, api_key=“unused”) response = client.chat.completions.create( model=“flint”, messages=[{“role”: “user”, “content”: “编写一个合并重叠区间的 Python 函数。”}], max_tokens=32768, ) print(response.choices[0].message.content) ``
sglang/README\.md (https://huggingface.co/RecursiveSI/flint/blob/main/sglang/README.md)介绍了环境要求、服务脚本选项、多 GPU 部署以及 API 详情。
https://huggingface.co/RecursiveSI/flint#recommended-generation-settings推荐的生成设置
设置值温度1.0Top-p / top-k0.95 / 20难题的输出预算至少 32768 个词元,包含推理
当请求未指定这些采样设置时,服务器会应用上述设置。Flint 支持兼容 OpenAI 的工具调用。请使用检查点的聊天模板,并在对话历史中保留返回的 reasoning\_content。提示和输出共享上下文窗口。
https://huggingface.co/RecursiveSI/flint#training训练
Flint 从零开始训练,经历了预训练、中期训练、监督微调和强化学习。训练内容包括文本和代码、指令遵循以及智能体任务。
https://huggingface.co/RecursiveSI/flint#limitations-and-responsible-use局限性与负责任的使用
Flint 的监督微调包含了注重安全的示例,但模型仍可能生成错误或有害的内容、有缺陷的代码或不恰当的工具调用。请测试生成的代码,并在应用可能产生重大影响的更改前进行审查。使用工具的应用应自行实施权限控制和执行边界;结构化的工具调用语法无法防止模型选择不安全或错误的操作。
长时间推理可能增加延迟,并在答案完成前耗尽输出预算。上下文配置表示容量上限,并不保证在所有序列长度或任务上都具有一致的准确性。结果可能随检查点精度和推理运行时而变化;请评估您计划部署的具体检查点和运行时。
https://huggingface.co/RecursiveSI/flint#license-and-reporting许可证与问题报告
Flint 根据 Apache 2.0 许可证 (https://huggingface.co/RecursiveSI/flint/tree/main/LICENSE)发布。托管 API 的条款和数据处理惯例与模型权重许可证相互独立。
如遇模型和服务问题,请联系 [email protected],并提供检查点修订版本、运行时版本、硬件、启动命令以及最小复现示例。请将安全性问题或疑似滥用情况报告至 [email protected],将安全漏洞报告至 [email protected]。
相似文章
Recursive 发布 Flint:一款据称主要由 AI 构建的笔记本编程模型
Recursive 发布了 Flint,这是一款可在笔记本上运行的免费 400 亿参数混合专家(MoE)编程模型。该公司声称该模型主要由其自动化 AI 研究系统 Eureka Machine 构建。Flint 以同规模而言实现了较高的 token 吞吐量和出色的 SWE-Bench Verified 成绩,目前已以 Apache 2.0 许可证在 Hugging Face 上开源。
Recursive 发布 Flint
Recursive 发布了 Flint,一款拥有 400 亿总参数、仅激活 25 亿参数的混合专家(MoE)本地智能体编码模型,在 SWE-Bench Pro v2、Terminal-Bench 2.1 等基准测试中领先于其他总参数低于 500 亿的 MoE 模型,并借助自主研发的 Eureka Machine 自动化研发系统,在四个月内完成构建。
基准测试:Recursive 的 Flint 40B A2.5B Q4 在配备 48GB 内存的 MacBook Pro M4 Pro 上,使用针对 Apple Silicon 优化的开源引擎 Kapitsa,达到 128 tok/s,兼容 Claude/Codex/Pi/OpenCode。
Kapitsa 是一款针对 Apple Silicon 优化的开源推理引擎,在配备 48GB 内存的 MacBook Pro M4 Pro 上运行 Recursive 全新的 Flint 40B Q4 模型时,解码速度达到每秒 128 个 token,在长上下文解码和预填充基准测试中优于 llama.cpp 和 Recursive 自家的引擎。
这家初创公司全力押注递归自我改进,其最新模型表现惊人
Startup Recursive 旗下首个开源权重编码模型 Flint 发布,其 CEO Richard Socher 称该模型几乎全部由自研的 Eureka Machine 通过递归自我改进(RSI)流程完成开发,并在同等规模编码基准上表现突出。
@cline:我们即将见证本地模型能力的爆发。Flint 以约 20 亿活跃参数在 Terminal-Bench 2.1 上取得 54.9% 的成绩……
Flint 仅用约 20 亿活跃参数在 Terminal-Bench 2.1 上取得 54.9% 的成绩,超越了其他小型 MoE 模型以及部分约 300 亿参数的稠密模型,同时在一台约 24GB 内存的 MacBook Pro 上以超过 125 token/秒的速度运行。