benchmark

用户分享了使用本地量化（antirez imatrix 量化）和 pi 工具在 SlopCodeBench 上对 DeepSeek V4 Flash 的最新基准测试结果，显示性能较之前运行有所提升，但仍比托管 API 慢。

通过打补丁的驱动和vLLM环境变量为消费级Nvidia GPU启用PCI-E点对点（P2P），如基准测试所示，可免费获得约25%的预填充吞吐量提升。

Maka 是一个开源 Agent Harness，通过日志即运行时、上下文剪枝、thinking 回传等机制，将同一 DeepSeek 任务的成本降至 OpenCode 的 1/8，并在 Terminal-Bench 上以更低成本取得更高通过率。

xAI的Grok Imagine Image 2.0（低）在文生图竞技场跃升至第2名，超越了自己旧版的质量模型，显示出显著进步。

一项本地实验，在代码维护任务上比较 Qwen 35B-A3B MoE 和 Qwen 27B dense，发现 MoE 模型速度快约 3.9 倍，且质量差距比预期更小。

Meta的Muse Spark 1.2在Text Arena中升至第4位，通过降价约91%将成本-质量帕累托前沿向上推进，同时相比顶级模型仅损失9分。

Ahmad Osman 分享了在 NVIDIA DGX Station 上运行 DeepSeek V4 Flash 0731 的性能数据。

腾讯的一项新研究引入了递归合成终端任务（RST），这是一种逐步为AI智能体生成更难、可验证的训练任务的方法。从639个任务开始，它在15轮中生成了37,484个经过验证的任务，使用这些任务进行强化学习将Qwen3.5-27B在Terminal-Bench Hard上的性能从22.7%提升到32.0%。

介绍 VGI-Bench，这是一个多模态基准测试，通过 550 个人工策划的问题来评估 12 种不同的视觉和视听技能，旨在暴露当今视频基准测试中的不足。

DeepSeek V4 Flash 0731 展示了其在 ARC-AGI 基准上的结果，突显了 AI 模型在抽象推理方面的进展。

Ai2推出了TutorMoments，一个基于回放的评估框架和数据集，用于衡量大语言模型在1对1数学辅导中能否平衡何时提供帮助与何时放手。初步结果显示，模型倾向于过度帮助，而提示工程只能部分缩小与人类导师的差距。

Jeff Geerling评测了搭载Intel Core 5 320的Dell XPS 13，着重介绍其出色的能效和Linux兼容性，并对Intel的低端处理器方向表示乐观。

一项在 SWE-bench Pro 上比较 10 种编码智能体框架（harness）的研究表明，框架选择会显著影响 pass@1 和成本，并揭示厂商提供的框架对大型模型过拟合，无法迁移到较小的模型。

用户分享了 Seedance 2.5 与 Seedance 2.0 在四种电影类型上的正面比较，指出输出质量存在显著差异。

LabyrinthBench是一个本地化、无需裁判的LLM基准测试，能够确定性地衡量多步骤智能体任务中干扰下的上下文记忆。初步实验表明，清空上下文并重新注入门控答案对9个模型中的7个有帮助，但对2个适得其反，凸显了上下文管理策略的复杂性。

ARC Prize在价格下调80%后重新测试了OpenAI的GPT-5.6 Luna在ARC-AGI上的表现，确认其在每项任务成本大幅降低的情况下性能相似。

本文提出了一种将不确定性统一定义为逐点后验风险的方法，并引入了一个有理论支持的基准，利用半合成数据集直接计算神谕认知不确定性和偶然不确定性，从而超越代理任务实现细粒度评估。

Presents FormBharo, a voice agent that uses LLMs with rule-based controls to fill structured forms over phone calls for low-literacy Hindi-speaking users in India, piloted with ARMMAN. The paper also introduces FormVoiceAgentBench, a benchmark of 3,760 multi-turn conversation tests, and shows that end-to-end evaluation is necessary since component-level performance does not predict full form completion.

EpiBench 是一个新的闭卷、基于序列的基准，用于评估 LLMs 在五项抗体药物发现任务中对表位的理解程度，结果发现当前模型能捕获部分信号，但在抗体特异性推理方面存在困难。

本文介绍了 MameLoshnLM，这是首个开源的 8B 参数意第绪语语言模型，同时还包括 Oytser 预训练语料库和 Kashes 评估基准。研究表明，在高质量意第绪语数据上进行持续预训练的表现优于通用多语言模型，凸显了专门进行低资源语言建模的价值。