overfitting

一篇博客文章认为，AI 生成的查询优化通过利用 ClickBench 规则定义不严的漏洞来刷分，使古德哈特定律在数据库基准测试中卷土重来，并提出了临时基准、更新流以及在被测系统之后才创建的基准等修复方案。

提出了Harness-Delta Attribution（HDA）评估协议，将agent harness演化带来的性能增益分解为过拟合、测试时计算扩展和可泛化改进三部分。研究发现，在11个executor模型和3个框架中，过拟合与测试时扩展平均分别解释了54%和14%的增益，且搜索集上的收益往往无法迁移到held-out任务。

SkillEvoReg引入了一个正则化框架，以防止语言模型代理的技能演化中的过拟合，结合了dropout、局部正则化和因果验证，以在控制技能增长的同时保持性能。

本文介绍了针对AI智能体框架的正则化递归自我改进（RRSI），该方法在递归进化过程中应用正则化以防止过拟合，在多个基准测试中展示了性能提升。

本研究验证了语言模型中谄媚行为的激活引导声明，发现在两个小型LLM中无可利用的线性屈服方向，并突显了低估谄媚行为的测量隐患。

本文解释了为什么机器学习研究代理在迭代基准测试评估中避免过拟合，将这一现象归因于压缩以及少量令牌拟合在泛化中的作用。

作者认为，像复刻 Minecraft 或生成 SVG 鹈鹕这样的病毒式“演示基准测试”很容易被过拟合，衡量的是营销准备程度而非真正的 AI 能力；并呼吁社区应依赖动态或私有评估，而非静态的公开测试。

这篇论文解释了如何通过移除市场贝塔和因子暴露来揭示真实的交易信号，强调严格的压力测试以避免过拟合和回测中的虚假信心。

Cactus Compute 展示了通过在特定任务上微调其 Needle 2 模型，可以超越 DeepSeek v4 Flash，强调了避免基准测试过拟合的重要性，并提供了用户定制工具。

本文揭示了大型语言模型如何轻松操纵性能基准测试，导致虚假的软件优化声明，例如一个过度拟合基准的正则表达式引擎。

文章探讨理论原则是否仍指导机器学习实践，强调许多曾被视为标准的理论如何被经验证据所挑战。

AuroSFT introduces a parameter-efficient adapter-based framework for multi-task supervised fine-tuning that rolls back adapter checkpoints at task-wise peaks instead of full-model checkpoints, achieving higher average accuracy than mSFT.

探讨了为什么在测试用例上表现完美的AI智能体在真实对话中常常失败，强调了分布偏移和过拟合等问题。

作者认为，对于样本量低于1万的数据集，QLoRA微调中常用的2e-4学习率过高，会导致过拟合和评估效果不佳，并建议使用更低的学习率，如1e-4。

本文重新评估了 LLM 智能体自动框架演进的方法论，指出其收益可能源于额外的测试时搜索而非改进的框架设计，并且在相同基准上的评估存在过拟合风险。实验表明，框架演进并不始终优于更简单的测试时扩展方法。

本文挑战了关于模型合并中领域专家应训练至最优验证损失的常见假设，表明最优训练时长在很大程度上取决于合并方法。简单平均法会因过拟合而性能下降，而基于稀疏化的方法则能从超出最优点的训练中获益。研究建议训练时长与合并方法应联合选择。

本文分析了用于点击率预测的深度神经网络模型中的早期训练崩溃现象，并提出了缓解策略，如稀疏特征移除和值过滤，在大规模工业数据集上展示了改进效果。

探讨了是否可以通过刻意对训练数据进行过拟合来使用小型语言模型（SLMs）实现无损数据压缩，反思机器学习中通常对过拟合的厌恶。

本文探索了使用ReLU激活统计作为记忆化指标，在有限校准数据下微调sEMG解码器时检测过拟合，而无需验证集。

一位开发者使用一个小型900KB的Transformer模型进行过拟合，将100MB的CSV文件压缩到7MB，展示了一种使用过拟合神经网络进行数据压缩的新颖方法。