来自 arXiv 的文章
本文研究了一种 LSTM 风格的循环 Transformer,其循环核心共享权重和单个键值缓存,在宽度为 1024 时将参数量减少了 40.4%,并将持久缓存组数从十五组减少到四组。通过一致性损失对齐并行与递归训练过程,消除了 81–89% 的续写损失惩罚;在较低的 token 预算下,权重绑定的成本最低。
本文提出了聚类占据核(CLOCK)方法,这是一种基于表示的框架,将动力系统的时间序列嵌入再生核希尔伯特空间(RKHS),通过吸引子之间的最大均值差异实现聚类,并在合成数据和颅内脑电图记录上进行了验证。
该论文引入了“模型信息”这一信息论度量,用于衡量训练后的扩散模型的输出对其训练数据集的依赖程度,并揭示了两种缩放区间:标志着从记忆到不完全泛化转变的非线性区间,以及线性泛化区间。论文提出了一条具有理论依据的缩放定律,由此推导出可用于外推的记忆程度和样本质量缩放定律。
该论文证明了差分隐私算法在组合与子采样下的隐私损失分布可通过截断后的高斯近似来刻画,从而为DP-SGD等场景给出比Rényi分析更紧的闭式隐私界,尤其在采样率1/t时显著降低所需噪声规模σ的要求。
提出了增强引导的对抗训练(AGAT)框架,利用基于增强的局部稳定性(ALS)得分选择邻域不稳定的样本进行对抗训练,在仅对 20–30% 的样本施加对抗监督的情况下达到相当或更高的鲁棒准确率,同时降低训练成本。
MLIPDiff 引入一种推理时引导方法,用机器学习原子间势(UMA)的物理信息指导预训练扩散模型进行基于结构的药物设计,在不重新训练的情况下完全消除蛋白-配体碰撞并提升结合亲和力预测。
该论文研究预训练模型容量如何影响因果任务的适应效果,基于 Qwen 2.5 构建了 CausalLLM(标量势结果估计)和 CausalGen(生成式反事实建模)两个系统,探讨从标量预测到反事实后训练的容量-适应对齐问题,并被 NeurIPS 2026 Workshop 接收。
本文研究了 Boruta 特征选择方法中树深度设置对 RNA-Seq 癌症数据基因筛选结果的影响,发现默认的浅树深度限制会显著改变基因选择并降低分类准确率,建议使用不限深度的树并加入类内样本质量过滤。
这篇论文介绍了苏黎世联邦理工学院提出的“All-in-One”可组合攻击框架。该框架通过将量化、剪枝或模型合并等部署阶段的变换近似为权重扰动,并在单一训练目标中对其进行联合优化,训练大语言模型,使其能够通过安全检查,却在经历这些变换后表现出恶意行为。
该论文提出局部预测一致性作为成对个体公平性定义的节点级松弛,通过相似度加权的邻域平均预测来生成可解释的公平性分数,并将其扩展到二分类、回归和生存分析场景。
RadonBench 是一项新基准,用于比较经典搜索方法与学习引导的搜索方法(穷举扩展、贪心局部搜索、PatternBoost、AlphaZero、AlphaEvolve)在构造最大基数的无 Radon 格点构型方面的表现。所有经审查的运行均未达到 Z^3 中 11 个点或 Z^4 中 21 个点这两个尚未解决的目标,但该研究为人工智能辅助数学发现建立了可复现的、接近目标的基线。
Pinterest 研究人员提出了 RLBP,这是一种已部署于生产环境的混合强化学习架构,利用强化学习元控制器,每天为各个广告活动选择用于自动出价的 PID 参数。在线 A/B 测试和全面上线后的留出组测量结果表明,该架构在不降低收入的情况下,实现了具有统计显著性的有效每次点击成本(eCPC)下降。
该论文将常见的对比式和探针式激活引导方法统一为结果回归平均梯度的估计器,并利用去偏机器学习中的奈曼正交性与斯坦得分构造双重稳健的新估计器,在真实性、概念引导等数据集上提升了引导性能。
论文提出 QViD,一种免训练的查询感知视觉 token 剪枝方法,通过发现查询-视觉交互矩阵的低秩结构并分解出主导潜在交互模式,在图像与视频理解基准上以相同 token 预算持续提升性能,尤其在高压缩率下增益显著。
一篇伦敦大学学院(UCL)的论文提出了 MAPS,这是一种与模型无关的指标,用于量化多变量时间序列预测任务的内在可预测性。该指标在合成数据集和真实世界数据集上与 66 种基准度量进行了比较评估,与参考可预测性呈高度相关(r=0.963)。
该论文定义了一种与 Fisher 信息矩阵对齐的参数分布,使得在保证低损失的同时获得与 Fisher 信息矩阵零特征值数量成正比的参数对数体积,从而得到一个随 Fisher 信息矩阵期望秩缩放的高概率 PAC 泛化误差界。
该论文在Avazu数据集上系统评估了CTR模型的后校准(Platt缩放与保序回归)在不同时间切片长度下的效果,发现随机划分严重低估校准误差,且使用约12小时的较宽时间窗拟合校准通常优于使用最新几小时的数据,并建议离线评估应采用多时间原点、多随机种子的时序校准评估协议。
Neural-DISCO 提出一种解纠缠表示学习框架,用于神经群体活动的源条件反事实编辑:可替换单个行为或刺激标签的潜在分量,同时保留其他标签与源特异性变异性,并结合特征归因识别单神经元层面的功能角色。
A研究提出了一种基于物理信息神经网络(PINNs)求解漂移-扩散方程的方法,用于半导体器件建模。该方法在PN结的正向和反向问题上达到与传统TCAD仿真相当的精度,并能在非平衡条件下根据电场或电位分布反演掺杂剖面。
提出 PAI-KNN,一种通过推理时先验调整而非内存修改来适应概念漂移与类不平衡的 KNN 数据流分类器,在合成数据流基准上取得了与最先进方法竞争的性能。