Karpo-Decision-31B:开放式多模态决策模型。在 Decision Index 综合评分中排名第 1,速度是 Jev 的 2 倍,成本低 20%

Reddit r/LocalLLaMA 模型

摘要

MachinePulse 发布了 Karpo-Decision-31B,这是一款基于 Gemma 4 31B 微调、采用 Apache 2.0 许可的开放多模态决策模型,以 73.9 的 Full 得分并列位居 Decision Index 第一,同时运行速度是 Jev 的 2 倍,成本低 20%。

MachinePulse 发布了 Karpo-Decision-31B,这是基于 Gemma 4 31B 微调的模型,用于针对文本和图像做出结构化决策。它在 11 月 12 日的 Decision Index 榜单上获得 73.9 分,在 300 个参评条目中取得最高综合得分,并根据榜单的并列规则与 GLiDE 27B 并列第一。工作原理 基于 Gemma 4 31B 构建,配备经过训练的线性读出层,用于为提供的答案选项评分。支持三种题型:选择题、是非题和评分题。直接返回概率,每道选择题最多支持 255 个选项。针对同一输入的多个问题可以在一次前向传播中得到回答。分支注意力机制允许每个问题读取共享上下文及其自身的选项,同时保持各选项分支相互独立。支持文本和图像,包括网页截图。文档标明的序列长度上限为 32,768 个词元;超出限制的请求会按问题拆分,每个部分均包含完整状态。提供 Python API 和 HTTP 服务器。BF16 权重约占 62.5 GB,此外还需运行时内存。请使用提供的推理代码加载决策头。有一个训练细节值得关注:根据团队的技术文章,全参数微调将公开得分提高至 75.09,但使模型在陌生领域的准确率下降了 2.3 个百分点。最终模型对五个检查点的权重取平均:其中三个来自全参数微调的不同阶段,另外两个来自一次 LoRA 训练。他们报告称,与最后一个单独检查点相比,这种方法在陌生领域带来了 1.6 个百分点的提升,且推理时无需运行额外模型。结果 Decision Index 的综合得分由基准维护者通过私有测试测得,其中公开测试集所涵盖技能的权重为 60%,新领域任务的权重为 40%。综合得分:73.9 私有测试,熟悉技能:70.7 私有任务,新领域:78.6 公开指数:75.0,单独报告,不计入综合得分。团队还报告了以下与 Google 的 Gemini Decision 1 的对比:基准 Karpo-31B Gemini D1 ------------------------------------------- When2Call 90.4% 79.9% Mind2Web 90.0% 86.2% New Yorker Caption 90.5% 79.7% Amazon ESCI (F1) 64.7 58.7 据报告,在使用一张 RTX PRO 6000 运行公开 Decision Index 测试集时,每个请求的中位延迟约为 95 毫秒。31B 权重和推理代码均以 Apache 2.0 许可证发布。链接:https://karpo.ai/models/decision https://huggingface.co/MachinePulseAI/karpo-decision-31B
查看原文

相似文章

autotrust/GEV-26B-Decide

Hugging Face Models Trending

autotrust 发布了 GEV-26B-Decide,这是一个基于 Gemma-4-26B-A4B-it 构建、具备自适应思考能力的 26B 参数(每 token 约 4B 激活)决策模型,在 Decision Index 上得分为 62.48。该模型还演示了面向计算机操作的亚 100 毫秒 System 1 决策(在无头 Chromium 中任务成功率达 95%),以及 MuJoCo 机械臂的抓取与放置任务。