gradient-flow

标签

Cards List
#gradient-flow

当参数梯度流在表示空间中闭合时

arXiv cs.LG ↗ · 5天前 缓存

本文对参数梯度流的表示动力学完全由表示本身决定的情形进行了分类,证明了宽双因子矩阵表示下的初始化分类,并将通常的闭合性与解析和光滑情形下的不变层级度量分解联系起来。

0 人收藏 0 人点赞
#gradient-flow

SGF+:解耦自回归视频生成中的梯度流

Hugging Face Daily Papers ↗ · 2026-10-07 缓存

论文提出 Self Gradient Forcing Plus(SGF+),通过为上下文写入与去噪角色解耦参数并保留因果注意力交互,显著提升自回归视频生成的视觉质量与长时一致性,仅用5秒训练片段即可支持长达24小时的连续生成。

0 人收藏 0 人点赞
#gradient-flow

更快的查询-键学习锐化自注意力模型中的注意力

arXiv cs.LG ↗ · 2026-08-10 缓存

本文分析了自注意力模型中查询-键回路和输出-值回路的参数化如何影响训练过程中的注意力锐度。通过梯度流分析,作者表明,相对于输出-值学习,更快的查询-键学习会产生更锐利的注意力,从而提高可解释性,同时不牺牲预测性能。

0 人收藏 0 人点赞
#gradient-flow

GradCuit: 信用分配的梯度流实现稳健且可解释的测试时潜在推理

Hugging Face Daily Papers ↗ · 2026-08-03 缓存

本文介绍了GradCuit,一种测试时潜在推理方法,在选定的Transformer层插入可优化的潜在状态。它在五个骨干模型和三个推理基准上实现了64.5%的平均准确率,优于思维链提示,并展现出更好的稳健性和可解释性。

0 人收藏 0 人点赞
#gradient-flow

无限小初始化下对角线性网络的梯度流动力学与隐式偏差

arXiv cs.LG ↗ · 2026-07-15 缓存

本文研究无限小初始化下对角线性网络的梯度流动力学,将先前结果推广至深层网络及更广的类别。研究表明,隐式偏差对应于一个修正的ℓ1范数,并将Structural Invariant Manifold(SIM)识别为关键的几何结构。

0 人收藏 0 人点赞
#gradient-flow

@SebastienBubeck: https://x.com/SebastienBubeck/status/2075596982622835006

X AI KOLs Timeline ↗ · 2026-07-10 缓存

GPT-5.6 在一个关于梯度流长度的基础数学问题上显著超越了已发布的最先进水平,实现了指数级的改进。这标志着人工智能在推理复杂数学问题能力上的重大进步。

0 人收藏 0 人点赞
#gradient-flow

大规模线性自编码器中学习机制的三棱柱层次结构

arXiv cs.LG ↗ · 2026-06-05 缓存

本文系统性地识别了大型权重共享线性自编码器中所有定性不同的极端学习机制,推导了与三棱柱面相关的五种机制的显式损失演化。

0 人收藏 0 人点赞
#gradient-flow

基于价值梯度流的强化学习

Hugging Face Daily Papers ↗ · 2026-04-15 缓存

价值梯度流(VGF)提出了一种可扩展的行为正则化强化学习方法,将其构建为通过离散梯度流求解的最优传输问题,在离线强化学习和大型语言模型强化学习基准测试中取得了最先进的成果。该方法消除了显式的策略参数化,同时通过控制传输预算实现了自适应的测试时缩放。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈