标签
本文研究了语言模型中的阈下学习，表明偏见可以通过看似随机的合成数据从教师模型传递到学生模型。作者发现，向权重添加高斯噪声会增加迁移程度，并且学生不仅继承了语义偏见，还继承了所使用干预的类型，这对训练安全和数据审计具有重要意义。
本文提出了一种以数据集为中心的元评估框架，在五个潜在维度上对LLM基准进行样本级审计，揭示其内部异质性，并支持基于标准的基准子集组合，以实现针对性的模型评估。
研究人员在ICML上发表论文，认为LLM识别指令方式的根本缺陷使其无法完全防御攻击，并成功演示了对OpenAI、Anthropic、阿里巴巴和DeepSeek模型的攻击。
VeriSimpl 提出了一种求解器-LLM框架，利用基于简化的验证来确保自然语言优化问题正确转换为求解器公式，相较于现有方法提高了准确性。
DecodeShare提出了一种方法，用于识别LLM在解码时隐藏状态中跨任务一致共享的低维子空间，并表明干扰该子空间对决策性能的损害程度超过同等待遇下干扰随机或预填充派生的子空间，这对激活引导具有启示意义。
本文介绍了C-MTP，一种用于训练连续思维链模型的直接监督方法，该方法将推理轨迹压缩为潜在表示。该方法在简单任务上表现良好，但揭示了直接和间接监督方法在处理复杂长推理轨迹时均存在困难，性能下降约65%。
介绍了RELIC，一种通过揭示原理在多智能体规划中学习可解释且可组合技能的框架，实现了隐私保护的协调和跨智能体技能迁移，无需共享代码。
介绍了 M+Adam，一种结合加法更新和乘法更新的新型优化器，使得在 BF16、FP8 或 FP4 主权重下对大语言模型进行有效的低精度训练成为可能，避免了标准优化器的失效模式。
阿温德·纳拉亚南在ICML 2026上的主题演讲认为，“AI as Normal Technology”框架有助于理解AI的影响，驳斥了AI导致突发性失业的观点，并设想了一个需要重大适应的人类-AI共超级智能的未来。
一篇题为'Verbalized Sampling: How to Mitigate Mode Collapse and Unlock LLM Diversity'的论文被ICML接收。该论文提出了一个简单的提示工程技巧，以实现更多样化的采样，引发了关于此类工作是否属于顶级机器学习会议的争论。
彭瑞韩（Pengrui Han）的论文在ICML理论与基准结合研讨会（ICML Combining Theory and Benchmarks Workshop）上获得最佳论文奖，Anima Anandkumar表示祝贺。
ConOrd提出了一种用于序数回归的对比学习框架，融合了对比学习与顺序学习的优势，在人脸年龄估计、图像质量评估和视频质量评估任务中达到了最先进性能。
本文将有噪声序数标签的排序估计重新定义为随机排序问题，并提出了一种学习框架（SOL），该框架通过判别性损失和随机顺序损失捕获序数标签的不确定性，从而在多种噪声类型下实现可靠的排序估计。
本文介绍了MemExplainer，一种通过拓扑归因树和记忆回溯树来归因贡献，并使用层相关性传播（LRP）提供忠实解释时间图网络（TGN）预测的方法。
在ICML 2026上，K-pop组合Kiss of Life在研究人员面前表演，Chungha身后出现了OpenAI标志，这一幕令人感到超现实。
Anima Anandkumar 宣布其团队在 ICML 研讨会上发表了四篇与 Lean 相关的论文，涵盖验证机器学习系统、函数式程序合成、证明助手互操作性以及科学推理，将 Lean 定位为 AI 的基础设施。
介绍了TimesX，这是一个新的多模态时间序列预测基准，包含多样化的真实世界数据和文本上下文，解决了泛化、数据泄露和上下文多样性问题。