Tag
该论文提出 Elastic Expert Routing,通过从以 k 为中心的局部离散分布中随机采样激活专家数量,平滑传统 top-k 路由的硬边界,在保持计算成本不变的前提下提升稀疏 MoE 模型在微调与从头预训练场景下的下游表现。
该论文提出了 Spectrally Targeted Muon,通过仅对超过或低于阈值的奇异值进行正交化,在 SGD 和 Muon 之间插值,并在 CIFAR-10 与 NanoGPT speedrun 上分析了 Muon 成功的真正原因:放大过小的奇异方向而非抑制大方向。
论文提出 SPD-MetaFormer,一种面向小数据脑信号解码的无注意力架构,基于 SPD 流形上均匀加权 Fréchet 聚合,并发现现有流形注意力模型(MAtt、GBWAtt)的学到权重接近均匀,因此简化设计即可获得有竞争力的 EEG 基准结果。
该论文提出 Gen-PINNs,一种将生成对抗网络与物理信息神经网络结合的确定性残差-对抗框架,用于求解具有尖锐波前和刚性特征的偏微分方程,在 Burgers、Allen-Cahn 和 Kuramoto-Sivashinsky 方程上相较标准 PINNs 显著提升了精度和收敛性。
该论文从理论上解释了对抗训练的神经网络其梯度显著性图呈现稀疏性的现象:对于两层ReLU网络,ℓ∞对抗攻击导致梯度范数各向异性,从而偏好轴对齐/稀疏的梯度。研究在经验风险最小化框架下证明了最小化收敛到具有最小梯度和Barron范数的贝叶斯分类器。
该论文提出一种泄漏可控的多模态多任务学习框架,结合SFCN MRI编码器、因果临床Transformer和ODE-GRU动力学,用于阿尔茨海默病诊断与病程进展预测,在ADNI、OASIS-2、MIRIAD数据集上取得内部诊断AUROC 0.935、混合AUROC 0.951,并在OASIS-3上完成外部验证。
This paper systematically studies the sample-efficiency of Kolmogorov-Arnold Networks (KANs) versus MLPs on the Feynman dataset and Gymnasium RL benchmarks, showing 40% fewer samples needed and up to 50% relative performance gains during training, robust to reward noise.
本文提出 AliO(Align Outputs)方法,通过在时域和频域减少相同时间戳上预测输出的差异来提升长期时间序列预测模型的输出对齐性,并引入新指标 TAM(Time Alignment Metric)量化对齐程度,在保持或提升预测性能的同时最高提升 58.2% 的对齐度。
该研究整合社会疼痛实验范式、EEG微状态分析与可解释深度序列建模,揭示青少年非自杀性自伤(NSSI)中情绪-动作脑状态耦合中断的神经动力学机制,分类准确率达68.55%。
A Show HN project showcasing an RNN-based system that generates Korean Hangul handwriting strokes, celebrating Hangul Day with an open-source creative deep learning demo.
AWS 宣布 PyTorch 现已原生支持 AWS Trainium 芯片,并将在 PyTorch Conference North America(10月20-21日,圣何塞)由 Amazon VP Distinguished Engineer Robert Hundt 发表主题演讲、AWS Neuron Principal PM Maen Suleiman 进行现场演示。
AMD promotes its ROCm platform at PyTorch Conference North America 2026 in San Jose (Oct 20-21), featuring hands-on labs, technical sessions, and open-source AI innovation across cloud and client environments.
PyTorch Conference North America (Oct 20-21, San Jose) spotlights keynote speaker Zongwei Zhou, Software Engineer at Meta, who will explore how TorchTPU and agent-driven development make complex AI workloads portable and performant across hardware.
Q-PACE 提出一种基于二阶敏感度模型的动态精度分配方法,用于量化感知训练(QAT),在预训练和监督微调实验中(模型规模达4B参数)相比现有混合精度训练方案取得了更优效果,并在更低内存预算下达到可比拟的损失。研究还发现量化敏感度可通过深度和层类型高度预测,从而支持低成本的低频重校准。
A time-series conditioned diffusion framework for MIMO channel estimation that uses an LSTM to encode temporal dynamics and an SNR-gated late-fusion shortcut, with SNR-adaptive DDIM denoising for low-latency inference in 5G/6G systems.
该论文提出一种物理注意力偏置(physical attention bias),在注意力logits上加入基于弧长距离和欧氏距离的可学习项,以改进对未训练过的电缆等可变形线性对象(DLOs)的运动预测,显著减少长期rollout中的漂移与误差。
The paper presents multimodal open decision models designed for deployment on edge devices, addressing efficient inference and real-world decision-making under resource constraints.
PyTorch Conference North America 宣布 AWS 副总裁兼杰出工程师 Robert Hundt 将担任主题演讲嘉宾,分享 Trainium 如何获得原生 PyTorch 支持,涵盖 eager mode、torch.compile、TorchTitan 与 TorchAO。会议将于 10 月 20-21 日在圣何塞举行。
The paper introduces PawCT, the first end-to-end neural framework for part-aware choral transcription that identifies active SATB vocal parts and transcribes each into a separate note-level track, achieving substantial F1 improvements over prior choral AMT baselines on the YouChorale dataset.
An article exploring how machines and AI systems progressively learned to achieve greater precision, tracing the evolution of machine learning techniques and their growing accuracy over time.