标签
该论文提出了 Spectrally Targeted Muon,通过仅对超过或低于阈值的奇异值进行正交化,在 SGD 和 Muon 之间进行插值,并在 CIFAR-10 与 NanoGPT speedrun 上分析了 Muon 成功的真正原因:其关键在于放大过小的奇异方向,而非抑制较大的方向。
论文提出 SPD-MetaFormer,一种面向小数据脑信号解码的无注意力架构,基于 SPD 流形上均匀加权的 Fréchet 聚合,并发现现有流形注意力模型(MAtt、GBWAtt)学到的权重接近均匀分布,因此简化设计即可获得有竞争力的 EEG 基准结果。
该论文提出 Gen-PINNs,一种将生成对抗网络与物理信息神经网络结合的确定性残差-对抗框架,用于求解具有尖锐波前和刚性特征的偏微分方程,在 Burgers、Allen-Cahn 和 Kuramoto-Sivashinsky 方程上相较标准 PINNs 显著提升了精度和收敛性。
该论文从理论上解释了对抗训练的神经网络其梯度显著性图呈现稀疏性的现象:对于两层ReLU网络,ℓ∞对抗攻击导致梯度范数各向异性,从而偏好轴对齐/稀疏的梯度。研究在经验风险最小化框架下证明了最小化收敛到具有最小梯度和Barron范数的贝叶斯分类器。
该论文提出一种泄漏可控的多模态多任务学习框架,结合SFCN MRI编码器、因果临床Transformer和ODE-GRU动力学,用于阿尔茨海默病诊断与病程进展预测,在ADNI、OASIS-2、MIRIAD数据集上取得内部诊断AUROC 0.935、混合AUROC 0.951,并在OASIS-3上完成外部验证。
本文系统研究了 Kolmogorov-Arnold 网络(KAN)与 MLP 在 Feynman 数据集和 Gymnasium 强化学习基准上的样本效率,结果表明 KAN 所需样本量减少 40%,训练期间相对性能提升最高可达 50%,且对奖励噪声具有鲁棒性。
本文提出 AliO(Align Outputs)方法,通过在时域和频域减少相同时间戳上预测输出的差异来提升长期时间序列预测模型的输出对齐性,并引入新指标 TAM(Time Alignment Metric)量化对齐程度,在保持或提升预测性能的同时最高提升 58.2% 的对齐度。
该研究整合社会疼痛实验范式、EEG微状态分析与可解释深度序列建模,揭示青少年非自杀性自伤(NSSI)中情绪-动作脑状态耦合中断的神经动力学机制,分类准确率达68.55%。
一个 Show HN 项目,展示了一个基于 RNN 的系统,能够生成韩文 Hangul 手写笔画,以开源的创意深度学习演示庆祝韩文日。
AWS 宣布 PyTorch 现已原生支持 AWS Trainium 芯片,并将在 PyTorch Conference North America(10月20-21日,圣何塞)由 Amazon VP Distinguished Engineer Robert Hundt 发表主题演讲、AWS Neuron Principal PM Maen Suleiman 进行现场演示。
AMD 在圣何塞举办的 PyTorch Conference North America 2026(10月20-21日)上展示其 ROCm 平台,提供动手实验、技术讲座和开源 AI 创新内容,涵盖云端和客户端环境。
PyTorch Conference North America(10月20-21日,圣何塞)聚焦主题演讲嘉宾 Zongwei Zhou——Meta 软件工程师,他将探讨如何通过 TorchTPU 和智能体驱动的开发方式,让复杂的 AI 工作负载在不同硬件之间实现可移植性和高性能。
Q-PACE 提出一种基于二阶敏感度模型的动态精度分配方法,用于量化感知训练(QAT),在预训练和监督微调实验中(模型规模达4B参数)相比现有混合精度训练方案取得了更优效果,并在更低内存预算下达到可比拟的损失。研究还发现量化敏感度可通过深度和层类型高度预测,从而支持低成本的低频重校准。
一种面向 MIMO 信道估计的时间序列条件扩散框架,利用 LSTM 编码时域动态特征,并结合信噪比门控的后期融合捷径,通过信噪比自适应的 DDIM 去噪实现 5G/6G 系统中的低时延推理。
该论文提出一种物理注意力偏置(physical attention bias),在注意力logits上加入基于弧长距离和欧氏距离的可学习项,以改进对未训练过的电缆等可变形线性对象(DLOs)的运动预测,显著减少长期rollout中的漂移与误差。
PyTorch Conference North America 宣布 AWS 副总裁兼杰出工程师 Robert Hundt 将担任主题演讲嘉宾,分享 Trainium 如何获得原生 PyTorch 支持,涵盖 eager mode、torch.compile、TorchTitan 与 TorchAO。会议将于 10 月 20-21 日在圣何塞举行。
该论文介绍了 PawCT,这是首个面向声部感知合唱转录的端到端神经网络框架,能够识别活跃的 SATB(女高音、女低音、男高音、男低音)声部,并将每个声部转录为独立的音符级轨道。在 YouChorale 数据集上,其 F1 分数较以往的合唱自动音乐转录(AMT)基线模型有显著提升。
《中国日报》报道了以中国科学院的 GEAIR 智能育种机器人为代表的 AI 驱动型智能农机,如何通过精准授粉和自动化技术变革农业。GEAIR 运用深度学习识别花朵并完成杂交授粉,将育种周期从五年缩短至一年,并使番茄育种的人工成本降低超过 25%。