超越Jev：更快、更准、多模态能力提升 [P]

Reddit r/MachineLearning 模型
multi-modal model-release benchmarking calibration decision-making

摘要

Intern-Decision 多模态模型家族（0.8B、2B、4B）已发布，其中4B模型在决策任务中超越Jev 1.13.0，支持快速本地部署，并在概率问题上改进了校准。

我们发布了 Intern-Decision 多模态模型家族（0.8B、2B、4B），其中 4B 模型在性能上超越了 Jev 1.13.0。https://huggingface.co/collections/internlm/intern-decision https://github.com/InternLM/Intern-Decision 在 RTX 4090 上进行性能测试，我们发现本地部署速度足够快，可实现约每秒 30 帧的决策调用，这为更多应用带来了巨大的想象空间！效率 更有趣的是，我们构建了一个基准测试来评估 Jev 决策模型在经典概率问题上的表现，发现其校准较差。校准 为了评估校准情况，我们让模型预测掷骰子时的下一个数字。模型应以相同的概率预测 1 到 6。例如，在测试经典的蒙提霍尔问题时，我们的模型更接近黄金分布（问题类似于“最终奖品在哪里？”）。三门概率分布
查看原文

相似文章

新的 system 1.5 模型在所有 4 个基线上都大幅超越 JEV，并且在图像 JEV 基准测试中排名第一（没错，它是多模态的）

Reddit r/artificial

新款模型 Wity-1 是一个推理决策模型，定位介于 Jev 这类非推理决策模型与完全推理的 LLM 之间。据称它在全部 4 项基准测试中击败了 Jev，并在 Image Jev Bench 上排名第一，同时支持多模态。它只进行"刚刚好"的推理——直到内部 LLM 概率表明答案已经得出。

Jeeves：推理改进类Jev决策模型

Hacker News Top

Jeeves是一个9B参数的推理增强类Jev决策模型，采用扩散起草器，与先前的模型如Kev和Jev相比，在域外基准测试上实现了更高的准确性。