标签
一位开发者制作了一款受《行动代号》（Codenames）启发的浏览器游戏，让大语言模型相互对战。他使用 19 个模型进行了 376 场游戏，发现猜词能力（与胜率的相关性为 68%）远比给出线索的能力（53%）重要，而且新模型的猜词表现明显优于旧模型。原始数据和可回放的对局均已公开分享。
持续学习考试（CLE）引入了 120 个专家编写的专业任务，组织成 5 级阶梯结构，用于测试 LLM 智能体能否复用早期获得的知识；即便是最佳配置也只能通过 47.7% 的关卡。
OpenFrontiers 推出了一个跨学科语料库，包含 12,151 个尚未解决的研究问题，以及一个由 200 个近期已解决的数学问题组成的回溯性基准，这些问题均附有 Lean 4 形式化陈述。该研究评估了七个大语言模型智能体，发现它们在闭卷条件下重新发现研究级成果的情况仍然罕见，而在实时联网条件下取得的成功则主要源于检索已发表的解答。
JEV Arena 是一个开源的 2D 格斗游戏基准测试，决策模型会根据血量、距离和对手行动来决定每一步操作。平台提供在线排行榜、自定义战士配置，以及一个名为 'mental_attack' 的招式——模型可以通过它向对手的 prompt 中注入消息。
本文介绍了 BoardSafety，这是一个基于厂商数据手册构建的基准，用于评估大语言模型能否判断某项操作对特定开发板是否安全。结果表明，即使能够获取针对特定开发板的规则，当前模型仍无法可靠地作出安全判断。
一位开发者报告称，Gemini 4 Argon 在 With 编译器上进行构建时犯了许多错误，而 Meta Muse Wonder Full 在类似测试中毫无差错，这表明 Muse 更适合用于开发该编译器。
作者设计并开源了 KillSwitch，一种专为对抗 LLM 和编码代理而构建的栈式编程语言，利用隐藏谎言规范、字符计数规则、触发安全护栏的语句等特性，并对主流 LLM 进行了基准测试，Claude Opus 5 表现最佳。
一位社区成员发布了 Qwen3.8-27B-antislop，这是一个以 Meta 的 RL XAR 风格进行强化学习训练的 Qwen 27B 模型，旨在减少大模型"马虎"（sloppy）风格的输出。该模型在 EQbench 排行榜上位列第 4（BF16+MXFP4）。模型权重和 GGUF 版本均可在 Hugging Face 上获取。
StarSkirmish Bench v0.2 在一小时时限内让各旗舰 LLM 用 C++ 编写 StarCraft: Brood War 神族机器人并与人类选手机器人对战，GPT-6 Astra 以明显优势居首，Gemini 4 Argon、Claude Opus 5.5 和 Claude Fable 5.1 紧随其后，且结果显示人类顶尖机器人仍远超所有模型。
该论文提出VALCON框架，通过生成者/评判者双重角色变体来基准测试并提升大语言模型的价值一致性，实验揭示28个LLM普遍存在跨角色不一致问题，并提出基于表征的干预方法加以缓解。
该论文提出'主体资格'概念，研究多用户聊天中智能体的承诺能否被非债权人取消，并在六个模型上区分未授权释放与覆盖两类错误，发现自维护承诺账本加释放策略可显著提升严格准确率。
我们提出了 SmartSalesBench，这是首个多轮对话基准，旨在评估大语言模型销售代理面对基于心理学构建、具有抗拒倾向的买家角色时的表现，包含九项评估指标，并在四个模型上开展了实验，共计 13,680 场会话。
RAG-Stress 提出一个受控诊断协议，通过编辑检索证据中的单一断言来诱导错误答案，量化模型在检索增强生成中被误导证据覆盖正确答案的比率（misleading rate），并发现严格遵循文档的指令会系统性提高误导率。
AI Monster Brawl将同一提示词发送给OpenRouter上全部325个文本模型，要求在1000点预算内打造怪兽格斗者；三分之一首次尝试失败，多数因超支，另有7%始终未能产出有效的格斗者。文章分析了常见失败模式，包括预算超支、无效部件以及JSON格式错误等问题。
该论文介绍了sk-bench，一个用于评估斯洛伐克语大语言模型的母语优先基准测试，涵盖十个技能类别的30个数据集（33个任务变体），旨在解决现有多种语言基准测试中缺乏斯洛伐克语母语覆盖的问题。
Emo-Jev 是一个免训练框架，利用 Jev 的概率决策接口进行文本分类，将任务分解为原子判断或聚合多条判断路径以提升分类效果，超越直接预测方式，并在八个情感、情绪、讽刺和幽默数据集上与五个最先进的 LLM 进行了对比评估。
论文提出了一种流水线，可自动生成基于本体且经推理器验证的多选题基准，用于评估大语言模型在科学人工智能中的逻辑推理能力；该方法在三个本体（Pizza、PMDco、DOID）和六个大语言模型上进行了验证。
该论文提出了 Multilingual GSM-Symbolic，一个覆盖 15 种语言、包含 30k 条题目匹配的问答对的符号模板数据集，用于量化大语言模型跨语言能力迁移的决定因素。研究发现，模型规模、语言资源水平、推理能力和类型学距离是关键驱动因素，并提出了一个能解释 92% 语言间差异的框架，其对未见语言性能的预测误差在 6.0 个百分点以内。
MedKIT 是一个新基准，用于评估大语言模型在词法、关系、组合和操作四类探针下，整合与应用更新后临床知识的能力。一项涵盖 5 个模型、12 种知识整合策略的大规模研究发现，事实检索与可实际运用的知识之间始终存在明显差距，组合推理与操作推理能力几乎没有提升。
在同一台 Mac Studio M5 Ultra 256GB 上，使用相同框架对比了 Qwen3.8-Flash-Next（182GB oQ8e）与 Laguna-S-2.1 GGUF 在最高 262K 上下文下的表现。Qwen 在预填充阶段保持约 4,200 tok/s 的线性速度，解码稳定；而 Laguna 则呈超线性退化；质量方面双方 4/4 打平，但答题风格迥异。