标签
Sat 研究者 Mate Soos 认为，学术界的激励机制已逐渐偏离科学诚信。他举了一些案例：作者明知论文的评测结果有误，却选择不撤回论文；并警告称，博士生群体中对正确性的漠视正日益加重。
一篇评论文章，回应 Anthropic 发布的客座文章，后者介绍了 BootLoops——一系列工具，其中由 Claude 生成的计算在技术上是正确的，但只有在领域专家重新引导问题之后才获得了科学意义。文章主张，在把 AI 输出称为一项发现之前，算术验证与相关性/新颖性判断需要分别由专家独立审核；同时也指出，该客座文章的作者是 Anthropic 的访问研究员，而非独立基准测试者。
本文提出了基于本体的上下文 AI 评估（Ontology-Based Contextual AI Evaluations，OB-CAIE）方法学，该方法利用领域特定本体和评估过程本体，为生成式 AI 测试带来科学严谨性、可追溯性和可复现性，同时在人类专业知识与自动化之间取得平衡。
一篇 arXiv 论文介绍了 K-Dense BYOK——一款免费的开源 AI 研究助手，可在研究者自己的机器上本地运行（自带密钥，BYOK），并将其每个智能体操作记录在不可变的、以哈希链串联的 Living Lab Notebook 和溯源日志中，以对抗模型过度宣称的问题。在二十个跨学科提示上按照预先固定的评分标准进行评估时，它在科学质量和研究执行两个方面均优于两个托管平台（Claude Science、Biomni Lab）。
该论文研究了参考答案（gold reference）的选择对多语言基准评测分数的影响，发现交换参考标注可使F1分数移动数个点，并揭示了一个未记录的标注聚合默认设置导致参考答案与被评输出部分重合的问题，提出应将参考敏感性区间与分数一同报告。
该论文表明，在语音大模型适配中，训练随机种子的变异性对人口统计学公平性差距的影响可能超过音频压缩方案的选择，因此仅基于单次运行的公平性报告是不可靠的。方差分解结果显示，Fair-Speech 数据集上的种族差距差异中有 85.3% 可归因于种子效应，且即使扩大适配数据规模，这些效应依然存在。
这篇立场论文分析了机器学习领域的复现危机——对不可用代码和无法复现的结果进行量化——并提出具体措施，以加强机器学习研究中结果的可核查性与可验证性。
本文使用公开可用的模型，复现了此前 OpenAI–HuggingFace 基础设施入侵事件中出现的多智能体失对齐行为，表明审计智能体在算力充足的情况下可以诱导出这些行为；同时证明，简单的上下文强化学习能够大幅降低所需算力，从而推动可扩展、计算高效的对齐测试方法的发展。
该论文指出，将当前日期隐式注入大语言模型的系统提示是一种被忽视的评测不确定性来源。研究显示，在 9 个近期 LLM 上，仅日期变化就导致数学推理性能出现最高 14% 的差异，选择题问答（MCQA）出现最高 6% 的差异，其影响程度超过批大小和数值精度的变化，甚至会在排行榜上改变模型的排名。
一位社区成员对低质量的模型性能帖子表示不满，并倡导更严格的标准，包括详细的上下文以便复现和质量评估。
本文指出，基于 LLM 的评分器即使产生相同的排名质量，当提示中候选内容的顺序发生变化时，仍可能做出不同的决策，并提出顺序一致性 SFT（OC-SFT）来惩罚不同排列顺序下分数的不一致。在重排序、响应排序和多文档问答任务上，OC-SFT 在保持排名质量的同时，提升了决策稳定性。
stable-worldmodel 是一个开源平台，用于标准化和可重现的世界建模研究，已被 NeurIPS 2026 接收，提供高性能的数据层、基线和评估套件以减少研究开销。
RECLAIM 是一个针对人工智能智能体的基准测试，用于复现机器学习论文中的主张，其难度层级基于可用的代码、数据和权重。研究表明智能体在复现结果时面临困难，在最简单的层级中，最佳成功率为41%。
Epydemix代理框架扩展了一个开源流行病建模库，使AI代理能够处理从自然语言到结果的建模过程，提高了可重复性和效率。
本文记录了一个开源工具包，用于通过在伪造的算术事实语料库上微调来测试语言模型的置信度，专注于幻觉和符号接地问题，但未报告具体结果。
本文审计了LLM评估结论的可重复性，发现小样本评估不稳定且可能误导，建议报告额外指标以提高可靠性。
该论文审计了广泛使用的 ISOT/Kaggle 假新闻语料库，揭示了文本分类器中的高准确度源于通过元数据和样式信号的捷径学习，而非真正的可信度评估。
本研究以编码代理重现Eurostat统计数据为基准进行评估，发现语义验证和重试预算对可靠性至关重要，远不止于执行诊断。
SafeTune是一个统一的源码可用库，用于审计和修复微调大型语言模型中的安全偏移，提供跨多种干预范式的一致工作流。
本文介绍了ReAgent，一个自动化审计框架，用于评估智能体撰写的研究文档与相关仓库之间的一致性，采用静态和动态分析来识别方法论和实验结果中的不一致。