TokenRhythm/NeoHorse-1-4B
摘要
NeoHorse-1-4B 是一个从 Qwen3.5-4B 微调而来的 4B 参数语言模型,专为智能体任务设计,使用路由引导的后训练以实现递归自我改进。
查看缓存全文
缓存时间: 2026/09/13 20:23
TokenRhythm/NeoHorse-1-4B · Hugging Face
来源:https://huggingface.co/TokenRhythm/NeoHorse-1-4B 通过路由框架的智能体后训练实现递归自我改进。
GitHub (https://github.com/TokenRhythm/NeoHorse) ModelScope (https://www.modelscope.cn/models/TokenRhythm/NeoHorse-1-4B) Hugging Face (https://huggingface.co/TokenRhythm) 公司 (https://tokenrhythm.ai/) Twitter / X (https://x.com/opensquilla) 许可证:Apache-2.0 (https://www.apache.org/licenses/LICENSE-2.0)
技术报告 (https://arxiv.org/abs/2609.08183)
NeoHorse-1-4B 是一个 4B 参数的因果语言模型,也是通往**递归自我改进(RSI)**路径上的初始原型。它基于 Qwen3.5-4B 进行后训练,适用于文本型智能体框架、工具使用、编码和指令遵循。
该模型源自 Qwen/Qwen3.5-4B (https://huggingface.co/Qwen/Qwen3.5-4B),并由 TokenRhythm 进行微调。此发布仅包含语言模型权重,并重新打包用于纯文本推理。视觉权重不包含在内。重新打包更改了配置和张量键名,但未更改微调后的张量值。
NeoHorse-1-4B 评估结果 (https://huggingface.co/TokenRhythm/NeoHorse-1-4B/resolve/main/4B_head_fig.jpg)
https://huggingface.co/TokenRhythm/NeoHorse-1-4B#highlights亮点
- **通往 RSI 的路径:**路由框架将任务分配给异构模型池,记录工具交互和结果,估计能力需求,并利用能力水平反馈来塑造下一次训练混合。更新后的模型可以返回框架,形成一个原型性的评估-选择-更新闭环;在连续迭代中扩展此闭环是迈向 RSI 的下一步。
- **智能体后训练框架:**相关研究探索了路由引导的课程 SFT 和路由引导的在策略蒸馏,将执行轨迹转化为训练信号,同时保留每个响应周围的执行和框架上下文。
- **数据质量:**精确和近似重复移除、评估去污染、结构验证、六维语义评估以及子场景级场景/目标/结果标记。
- 广泛提升:在十项基准测试中平均宏观得分为 64.87,而 Qwen3.5-4B 为 58.94(+5.93)。
https://huggingface.co/TokenRhythm/NeoHorse-1-4B#model-details模型详情
| 属性 | 值 |
|---|---|
| 模型家族 | NeoHorse 智能体原生因果语言模型 |
| 参数量 | 约4B |
| 基础模型 | Qwen3.5-4B (https://huggingface.co/Qwen/Qwen3.5-4B) |
| 后训练 | 路由引导的智能体后训练 |
| 接口 | 文本输入和文本输出 |
| 上下文长度 | 原生支持 262,144,可扩展至 1,010,000 个令牌。 |
| 权重格式/精度 | Safetensors / BF16 |
https://huggingface.co/TokenRhythm/NeoHorse-1-4B#evaluation评估
4B 赛道将 NeoHorse-1-4B 与五个代表性的开源权重模型进行比较。结果按能力分组列于下表。分数越高越好;Δ 表示 NeoHorse-1-4B 减去 Qwen3.5-4B。粗体标记最佳可用结果;下划线标记次佳结果。
| 基准测试 | Qwen3.5-4B | Gemma-4-E4B-it | Nanbeige-4.2-3B | Agents-A1-4B | Spark-X2.5-4B | NeoHorse-1-4B | Δ vs Qwen3.5-4B |
|---|---|---|---|---|---|---|---|
| 🤖 智能体能力 | |||||||
| QwenClawBench | 38.47 | 22.98 | 40.66 | 43.16 | 43.52 | 44.68 | +6.21 |
| WorkBuddy Bench | 24.62 | 11.65 | 21.03 | 33.37 | 26.47 | 34.41 | +9.79 |
| PinchBench | 71.19 | 47.60 | 66.78 | 75.07 | 62.37 | 77.33 | +6.14 |
| VitaBench | 21.50 | 5.00 | 31.50 | 39.25 | 37.00 | 32.00 | +10.50 |
| BFCL v4 | 61.02 | 47.18 | 67.28 | 46.60 | 63.71 | 61.79 | +0.77 |
| tau2-Bench | 84.29 | 43.60 | 85.08 | 81.00 | 77.72 | 88.46 | +4.17 |
| 💻 编码能力 | |||||||
| HumanEval | 87.20 | 84.76 | 98.78 | 92.68 | 92.07 | 96.95 | +9.75 |
| LiveCodeBench v6 | 53.71 | 52.00 | 72.50* | 56.57 | 54.86 | 59.43 | +5.72 |
| 📚 指令遵循 | |||||||
| IFBench | 60.33 | 40.00 | 55.00 | 63.33 | 73.33 | 65.33 | +5.00 |
| IFEval | 87.06 | 74.68 | 84.47 | 83.55 | 91.13 | 88.35 | +1.29 |
| 📊 总体 | |||||||
| 十项基准平均分 | 58.94 | 42.95 | 62.31 | 61.46 | 62.22 | 64.87 | +5.93 |
* Nanbeige-4.2-3B 在 LiveCodeBench v6 的结果报告于相应模型的官方博客或技术报告中。
报告协议: SGLang v0.5.17 ·
temperature=1.0·top_p=0.95·top_k=20·min_p=0.0·presence_penalty=1.5·repetition_penalty=1.0· 启用思考模式,enable_thinking=true和force_nonempty_content=true。QwenClawBench、WorkBuddy Bench 和 tau2-Bench 使用三次运行;PinchBench 和 VitaBench 使用一次运行;其余基准测试遵循其官方协议。VitaBench 使用 DeepSeek-V4-Flash 模拟器和裁判。
https://huggingface.co/TokenRhythm/NeoHorse-1-4B#deployment部署
以下示例适用于从下载的本地检查点进行自托管部署。
https://huggingface.co/TokenRhythm/NeoHorse-1-4B#local-checkpoint-path本地检查点路径
以下示例假设检查点已下载到本地磁盘。将 MODEL_PATH 设置为包含 config.json、分词器文件和模型权重的目录。
MODEL_PATH="/path/to/NeoHorse-1-4B"
以下 OpenAI 兼容请求使用服务器的 --served-model-name(例如 neohorse-1-4b),而非文件系统路径。
https://huggingface.co/TokenRhythm/NeoHorse-1-4B#sglangSGLang
技术报告使用 SGLang v0.5.17。
pip install "sglang==0.5.17"
MODEL_PATH="/path/to/NeoHorse-1-4B"
python3 -m sglang.launch_server \
--model-path "$MODEL_PATH" \
--served-model-name neohorse-1-4b \
--host 0.0.0.0 \
--port 30000 \
--context-length 262144 \
--reasoning-parser qwen3 \
--tool-call-parser qwen3_coder
服务器启动后发送 OpenAI 兼容请求:
curl http://localhost:30000/v1/chat/completions \
-H 'Content-Type: application/json' \
-d '{"model":"neohorse-1-4b","messages":[{"role":"user","content":"Write a Python function that returns the first n Fibonacci numbers."}],"max_tokens":512}'
https://huggingface.co/TokenRhythm/NeoHorse-1-4B#vllmvLLM
pip install -U vllm
MODEL_PATH="/path/to/NeoHorse-1-4B"
vllm serve "$MODEL_PATH" \
--served-model-name neohorse-1-4b \
--host 0.0.0.0 \
--port 8000 \
--max-model-len 262144 \
--reasoning-parser qwen3 \
--enable-auto-tool-choice \
--tool-call-parser qwen3_coder
服务器暴露一个 OpenAI 兼容的 /v1/chat/completions 端点。服务器启动后发送请求:
curl http://localhost:8000/v1/chat/completions \
-H 'Content-Type: application/json' \
-d '{"model":"neohorse-1-4b","messages":[{"role":"user","content":"Write a Python function that returns the first n Fibonacci numbers."}],"max_tokens":512}'
示例使用配置的 262,144 令牌上下文限制。实际容量取决于 GPU 内存和服务器设置;如有需要可减少上下文限制。
https://huggingface.co/TokenRhythm/NeoHorse-1-4B#license许可证
NeoHorse-1-4B 在 Apache License 2.0 下发布。
上游模型是 Qwen/Qwen3.5-4B (https://huggingface.co/Qwen/Qwen3.5-4B)。其原始版权声明(Copyright 2026 Alibaba Cloud)保留在许可证文件中。TokenRhythm 通过微调和重新打包以进行纯文本推理,对模型进行了修改。修改说明包含在此模型卡片以及发布的配置、权重索引和 Safetensors 元数据中。
https://huggingface.co/TokenRhythm/NeoHorse-1-4B#citation引用
@misc{neohorse2026,
title = {NeoHorse-1: Towards Recursive Self-Improvement via Agentic Post-Training with Routing Harness},
author = {NeoHorse Team},
year = {2026},
howpublished = {arXiv preprint},
eprint = {2609.08183},
archivePrefix = {arXiv},
primaryClass = {cs.CL},
url = {https://arxiv.org/abs/2609.08183}
}
如有问题或问题报告,请使用 NeoHorse 项目仓库 (https://github.com/TokenRhythm/NeoHorse)。
相似文章
TokenRhythm/NeoHorse-1-9B
NeoHorse-1-9B 是一个基于 Qwen3.5-9B 的 9B 参数语言模型,针对代理任务和工具使用进行了微调,并在基准测试中提升了性能。
NeoHorse-1:通过具有路由机制的代理后训练实现递归自我改进
NeoHorse-1 通过智能路由和反馈循环的代理后训练,探索AI模型中的递归自我改进,展示了在各种基准测试中的性能提升。
Agents-A1-4B (Qwen3.7-4B ???):扩展能力而非参数规模
Agents-A1-4B是InternScience推出的一款紧凑型4B参数模型,在多项智能体和推理基准测试中取得了最先进的结果,通过扩展能力而非参数规模超越了更大模型。
通过递归自我重写扩展复杂任务的训练轨迹
论文提出了 Recursive Self-Rewrite(RSR)框架,该框架利用单一基础模型(Qwen-3.8-27B)在多种 harness 下发现成功解,并通过 planner-critic-executor 循环将其在通用 harness 下重构为训练轨迹,在监督微调后,terminal-bench 任务上的 pass@3 得到了显著提升。
VibeThinker: 在推理上击败Opus 4.5的3B参数模型,采用新颖的SFT+GRPO方法
本技术报告介绍了VibeThinker-3B,一个3B参数的密集模型,在AIME26和LiveCodeBench等基准测试上实现了前沿水平的推理性能,通过结合基于课程的SFT、多领域RL和离线自蒸馏,匹配或超越了DeepSeek V3.2和GLM-5等更大的模型。