@jinyuhou0: 在主流基准测试中,我们的30B模型与规模大20-30倍的系统(gpt-5.4-xhigh、DeepSeek-V3.2、Kimi-K2.5)匹敌,而……
摘要
一款新的30B模型在主流基准测试中与规模大20-30倍的系统匹敌,同时相比同类30/32B智能体大语言模型,使用的推理令牌减少高达95%。这是通过一个学习型配置器实现的,该配置器决定何时以及如何进行推理。模型和代码已开放。
查看缓存全文
缓存时间: 2026/05/24 10:27
在主流基准测试中,我们的30B模型在性能上与规模大20-30倍的系统(如gpt-5.4-xhigh、DeepSeek-V3.2、Kimi-K2.5)持平,同时比同类30/32B智能体LLM减少多达95%的推理令牌。
诀窍在于:不仅要减少推理,还要推理正确的事项。一个经过学习的配置器决定何时进行模拟、模拟多远的未来,以及何时完全跳过规划。
高效推理是一个分配问题,而非压缩问题。
模型和代码已公开可用。
Mingkai Deng (@mdeng34):
前沿大语言模型正在向高效、自适应推理收敛。Opus 4.7让模型自行决定推理深度。GPT-5.5用更少的推理令牌取得了强劲结果。我们研究了一个相关但更具结构性的问题:应该进行何种推理
相似文章
@omarsar0:小型模型的推理能力正在变得非常强。这令人兴奋,因为 SLM 可以在 harness 层释放巨大潜力……
TheWebAI 发布了 TwIL-LM3-Pro,这是一个 3.6B 参数的开源 SLM,可本地运行,在 BIG-Bench Hard 上取得 95.4 分,超过 Qwen3-8B 的 63.7 分,其后训练流程包括形式逻辑微调、权重合并以及针对程序化验证器的强化学习。
@rohanpaul_ai:中国最强的小型推理模型(VibeThinker-3B)刚刚被一个来自奥斯汀的 3.6B 模型击败。> webAI 的 TwIL-LM3-Pro…
webAI 发布了 TwIL-LM3-Pro,一个 3.66B 的开源推理模型,在形式逻辑基准测试上超越了 VibeThinker-3B、Qwen3.5-4B 和 LFM2.5-8B-A1B,并可通过 llama.cpp 以约 2 GiB 的 Q4 构建在本地运行。
@akshay_pachaar: 中国研究人员又做到了!OpenBMB刚刚开源了MiniCPM5-2B,一个用于推理的密集2B参数模型……
OpenBMB已经开源了MiniCPM5-2B,一个2B参数的AI模型,针对资源受限硬件优化,用于推理、编码和工具使用,在其尺寸类别中达到最先进的性能,并展示了有效的本地部署能力。
我们自研了推理引擎,让一个 32B 模型把 262K 上下文塞进 16 GB 显存预算。这是一段未剪辑实测。
Blockway 团队发布了 Volundr 32B 模型及自研 Agens Engine 推理引擎(MIT 开源),通过让 72 层中的 54 层使用固定大小状态替代增长的 KV cache,使 262K 长上下文能在 16 GB GPU 预算内运行,并演示了 110K token 冷读约 69 秒、后续追问 0.5 秒回答的实测。
LFM3-1.7b 表现令人印象深刻
作者测试了 Liquid AI 的 LFM3-1.7B 模型(Q8_0 GGUF 格式,通过 llama.cpp/ROCm 运行),用于压缩和摘要任务。测试结果显示在 Strix Halo 以及 7900 XTX+XT 张量拆分配置上具有出色的预填充/解码吞吐量,并且作为一个 1.7B 模型,在 32k-64k 上下文长度下表现出乎意料的连贯性。