标签
RSI Arena 推出了一项分为两个阶段的研究:十个前沿 AI 智能体在固定的 GPU 和 API 预算下,以人类偏好反馈为指导,从同一个基础模型出发,自主开展语言模型后训练。表现最强的智能体(GPT-6 Astra)弥合了基础模型与指令模型之间差距的 76%,且大多数模型在第二阶段比第一阶段更受人类青睐,展示了在结合人类反馈的递归自我改进(RSIHF)方向上迈出的一步。
本文审查了用于罕见病诊断的增强型大语言模型系统中的评估伪象与数据泄漏问题,表明候选空间污染和时间错位会人为抬高基准测试表现,并提出了一套严格的数据隔离评估框架,以确保系统具备真正的临床稳健性。
本文在内容审核任务上,将一个成本低廉、参数冻结的“系统一”分类模型与14个前沿大语言模型进行对比评估,发现其准确率具有竞争力,而成本远低于后者,并表明“置信度”混淆了两种不同的不确定性——人类意见分歧与决策风险——而这两者需要方向相反的升级处理信号。
该论文提出一个统一评估框架,使用 Jev 1.13.0 作为案例研究 Structured System 1 模型在时间序列分类、事件类型预测、油温方向及股价走势预测等任务上的表现,结果显示其在显式时间模式和事件预测上较强,但在许多数值序列分类和股票走势预测上接近随机水平。
该论文审计了 1999 至 2026 年间的 113 项研究,发现只有 9 项主要评测真正测量了真实人类对系统所选行动的响应,其中仅 2 项还将显式的响应预测与实测响应进行比较;在 25 项语言模型相关工作的全文检查中没有发现符合这些条件的实验。作者提出了一套直接预测评测标准,并设计了一个用于谈判助手的单步实验来区分任务成功、当前状态推断与真实响应预测。
对五个公开的 EEG 基础模型和一个内部开发的 JEPA 风格模型进行的受控评估表明,随机初始化、频带功率基线以及通过验证集选择的探测层,会显著改变在睡眠、情绪和运动想象基准测试中报告的预训练增益。
本文在七个二维时变偏微分方程数据集上,对七个偏微分方程基础模型的滚动预测可靠性进行了基准评测。结果表明,尽管经过微调的基础模型在短期预测中往往优于从头训练的基线模型,但全时域滚动预测存在显著的误差放大现象(中位数为2.04倍),因此主张未来的基准评测应按预测时域分别报告结果。
论文提出 TraceTrial-Bench,从七个维度评估 AI 智能体的运行框架可靠性,并通过轨迹追踪与失败归因模块,在 4 个运行框架、9 个模型和 95 个任务上完成了涵盖 3,420 次运行的可审计评测。
提出了 RSIHub,一个用于构建、比较和扩展智能体演化方法的开源框架,通过可复用的算子与配方简化实验基础设施。论文在 Terminal Bench 2 和 τ³ Banking 上评测了 AHE、Hyperagents、A-Evolve 与 GEPA,最大 pass@1 提升达 13.5 个百分点,但方法排名随设置变化且优化收益不一定迁移到留出任务。
该论文通过六语言析因设计,独立考察问题语言、回答语言与验证指令语言对多语言 P(True) 自评估的影响,发现三者分别影响准确率、区分度与校准,且未经验证的评判者会严重扭曲模型表现差距。
研究通过预注册的受控实验比较了声明式动画规格与自由HTML/JavaScript代码两种LLM生成解释的方案,发现规格虽更短,但由于推理开销增加并未更便宜、更快或更可靠,小模型的规格可靠性甚至显著更低。
对 DeepSeek V4.1 Flash-1017 在 34 项基准测试中的独立安全评估发现,其安全性较先前版本有显著提升,并已接近领先的闭源模型水平。评估建议采用过程级可观测性、增量式安全测试和非公开基准测试,以应对失控和有害操纵风险。
一项元研究,将幻觉检测作为一个受基准条件约束的测量问题进行分析,从溯源、类型学和粒度三个维度展开,并提出了一种Span Coverage F1指标,以解决跨级别标注边界不一致带来的变异性问题。
Puget Systems 概述了其 Puget Bench 基准测试工具目前在 Snapdragon 和 NVIDIA RTX Spark 设备上的 ARM 支持情况,并指出,该基准测试套件已完全原生支持 ARM,但 Lightroom Classic 等宿主应用仍缺乏原生 ARM 版本。
RSIHub 是一个开源框架,为智能体进化(agent-evolution)研究提供可组合的共享基础设施,标准化方法的构建、比较与扩展,并在 Terminal Bench 2 和 τ3 Banking 上评测了 AHE、Hyperagents、A-Evolve 和 GEPA 等方法。
一位爱好者分享了测试结果:在配备 4 块 Intel B65 的系统上,将分块大小增至 8192 后,vLLM Flash-Next 的预填充速度提升约 30%,首 token 延迟(TTFT)缩短约 30%,并附有详细的 Qwen3.8-Flash-Next 基准测试表格和 LibreChat 演示。
本文表明,在“指挥者任务”中,要求视觉语言模型在采取行动前回答指挥者能看到哪些积木,会显著改变模型的选择,使各款 GPT 模型选择隐藏积木的比例提高 12–88 个百分点,Qwen3.8-27B 则提高 17 个百分点。作者认为,视角采择基准需要设置仅在报告问题上有所不同的配对基线,以免误读模型未能运用他人视角的表现。
该论文提出了 SkillEval,这是一个将大语言模型发现的可解释技能与认知诊断模型相结合的框架,用于生成大语言模型在不同基准测试中的细粒度能力画像,改进基于平均分的评估方式,并支持大语言模型路由和自适应测试。
本文研究了用于工具选择等封闭集决策的编码器可以做到多小,发现逐选项打分优于联合打分,并且68M/150M参数的联合编码器在毫秒级响应请求的同时,性能超过了435M参数的DeBERTa-v3零样本分类器。
Nace.AI 的 Kapitsa 0.2 随之推出 KFlash——一种面向 Apple Silicon 的基于 best-first 树搜索的投机解码(speculative decoding)方法。该方法在 M4 Pro 和 M1 Pro MacBook 上,基于 Qwen 模型与 Splash 1.4.0 的 DFlash2、mlx-serve、Ollama、llama.cpp 等方案进行了基准测试,展现出顶尖的解码吞吐量(约 65–201 tok/s)。