deep-learning

The paper introduces LoopRec, an item-level adaptive recursion framework for sequential recommendation that reuses a weight-shared backbone block with learned gates to allocate per-item computation depth, achieving consistent gains across 3 Amazon benchmarks and 4 backbones including SASRec and NextItNet.

Arc Institute 的 Science Fellow 周景天及其团队在新预印本中介绍 Bolero，这是一个以细胞状态为条件、仅从 DNA 预测染色质可及性与基因表达的模型，解释了相同 DNA 在不同细胞中的差异解读。

Google open-sources TorchTPU, a native PyTorch backend for its TPUs, featuring custom ATen kernels, XLA compilation caching, torch.compile() integration, and distributed training support with examples for models like Llama, Qwen, and ResNet.

Hugging Face 宣布 Transformers、Diffusers 和 Kernels 原生支持 TorchTPU，使 TPU 成为 PyTorch 中的一个普通设备选项，无需再依赖 torch_xla 或 Optimum TPU。

MIT, Boston Children's Hospital and Inria researchers presented E3-Pose, a deep learning model with baked-in left-right symmetry physics for tracking fetal head motion, aiming to produce reliable high-resolution fetal brain MRI for prenatal diagnosis.

推文称Anthropic每年为精通《Understanding Deep Learning》内容的人才支付25万至75万美元，并列出从监督学习到Transformer的深度学习学习路径与免费电子书资源。

PyTorch and AWS announce TorchNeuron, an open-source native PyTorch backend for AWS Trainium chips, letting developers run existing PyTorch code with a simple `.to('neuron')` switch, supporting eager execution, torch.compile, and NKI custom kernels. It will launch as public beta under Apache 2.0 at the PyTorch Conference on Oct. 20.

该论文提出 LeMA，一种用于多 GPU 大规模神经网络训练的分布式 Levenberg-Marquardt 算法，通过精确对偶公式与 Jacobian 分片策略，将内存开销从参数量平方降低到批量大小平方，并在约 10 亿参数 CNN 上实现 8 GPU 近线性扩展。

该论文研究了分布式训练中外部Nesterov动量在随机伪梯度上的稳定性，推导了随机二次模型上的精确均方稳定性判据，揭示了内层批量大小、本地步数与工作节点平均对训练稳定性的联合影响，并在神经网络上验证了理论结论。

EMBER 提出一种无需对接复合物结构的 TCR–pMHC 结合预测框架，将 TCR 与 pMHC 独立折叠并编码为 SE(3) 不变残基图进行比较，避免了对接误差的传播，同时降低计算复杂度，并在表位不相交评估中全面超越六个基线模型。

PyTorch 联合主席 Chris Hoge（NVIDIA）推荐了 PyTorchCon 北美 2026 的五场重点演讲，涵盖 PyTorch 生态系统 Landscape、MoE 专家并行通信、动态形状 CUDA 图、Symmetric Memory 融合内核以及数据加载器扩展等内容。

A retrospective deep dive tracing the evolutionary arc of AI architectures from the single perceptron through early neural nets, the vanishing gradient problem, LSTMs, and the Transformer era, while speculating about the next paradigm shift beyond self-attention.

PyTorch now runs natively on AWS Tranium AI chips with no code changes, and the story will be shared by Annapurna Labs VP Robert Hundt during the PyTorch Conference North America 2026 keynote. The post promotes registration for the event.

一篇技术博客，通过"关联记忆"的视角重新推导 Transformer：从线性层的外积记忆，到 MLP 的容量提升，再到自注意力的近乎无界记忆容量，并给出各层可存储记忆数量的启发式估算（如 64 维键可从约 64 条提升到上百万条记忆）。

一位CS学生分享了DenseCore——一个用Rust编写的轻量深度学习框架（约2MB），配有类PyTorch的Python API，能在Apple Silicon上逐比特精确复现PyTorch在nanoGPT上的训练结果，并揭示了PyTorch内部Flash Attention、Adam尾部循环融合等隐藏的数值细节。

DST-Net 提出一种解耦的时空网络用于时间序列预测，针对趋势和季节分量分别设计潜在图块和高斯多尺度注意力机制，以匹配各分量的内在特性并在多个基准上验证有效。

这篇论文将音乐愉悦度预测构建为回归问题，利用MUSIN-G数据集的128通道EEG数据，比较了六种深度学习模型（DeepConvNet、CNN-LSTM、GNN-CNN、TCN等），并通过可解释性分析识别影响预测的关键时间片段。

PyTorch Conference North America 2026 在圣何塞举行，汇集顶尖 AI 先驱、研究者与开发者，围绕 PyTorch、vLLM、DeepSpeed、Ray、Helion、Safetensors 等开源项目展开技术分享与交流，并感谢黄金赞助商的支持。

The paper investigates why Graph Transformers rarely form attention sinks compared to LLMs, showing that the attention scoring function — not graph structure — is the main cause: replacing GRIT's gated logit with dot-product attention raises its sink rate from 0.09 to 0.68.

本文提出一个统一的九维分类框架，从更新目标、组织方式、调度范围及反馈选择四个维度梳理现有递归自我改进（RSI）方法，并探讨如何借鉴传统深度学习与进化计算机制启发新的RSI研究思路，同时综述相关评估基准。