autoregressive

标签

Cards List
#autoregressive

通过自回归词元回归学习最优传输方案

arXiv cs.LG ↗ · 4天前 缓存

本文介绍了 ToR-OT,这是一种 Transformer 模型,将最优传输重新表述为结构化序列生成任务,以自回归方式预测稀疏的离散最优传输方案,从而实现跨分布对和代价度量的零样本泛化,但它目前尚不能替代经典求解器。

0 人收藏 0 人点赞
#autoregressive

apple/FastFrames-L

Hugging Face Models Trending ↗ · 6天前 缓存

Apple 发布了 FastFrames-S(1.3B)和 FastFrames-L(14B),这是一类自回归两步视频扩散模型,能够以交互级延迟生成 480p 视频(FastFrames-S 每帧约 35ms),同时还带来了一个优化后的 LingBot 1.3B,运行速度提升 16 倍,并支持流畅的相机条件控制。

0 人收藏 0 人点赞
#autoregressive

VoxMel TTS 技术报告

Papers with Code Trending ↗ · 2026-11-15 缓存

VoxMel 是一个无 tokenizer 的自回归 TTS 框架,利用可逆的双轴 Haar 变换将 mel 频谱分解为 Coarse-Mel 与残差层,在英语上经 GRPO 后取得 1.15% 的 WER 与 0.753 的说话人相似度;蒸馏出的 2 步/4 步学生模型可媲美监督模型。

0 人收藏 0 人点赞
#autoregressive

BYOD:构建你自己的 DLM——高效地将自回归语言模型转换为扩散语言模型

arXiv cs.CL ↗ · 2026-11-02 缓存

BYOD 提出了一种仅使用 LoRA 的方案,可高效地将自回归语言模型转换为扩散语言模型,在冻结所有基础参数的情况下,仅需在单个 Colab GPU 上运行约 3–4 小时,即可完成 Gemma 2 9B、Llama 3.1 8B、Qwen2.5 7B 和 Ministral 8B 的转换。

0 人收藏 0 人点赞
#autoregressive

超越局部精度:偏微分方程基础模型的滚动预测可靠性基准评估

arXiv cs.LG ↗ · 2026-10-27 缓存

本文在七个二维时变偏微分方程数据集上,对七个偏微分方程基础模型的滚动预测可靠性进行了基准评测。结果表明,尽管经过微调的基础模型在短期预测中往往优于从头训练的基线模型,但全时域滚动预测存在显著的误差放大现象(中位数为2.04倍),因此主张未来的基准评测应按预测时域分别报告结果。

0 人收藏 0 人点赞
#autoregressive

先知后画:视觉生成的新学习范式

Hugging Face Daily Papers ↗ · 2026-10-27 缓存

提出「先知后画」的混合学习范式,用自回归预训练获取语义知识、扩散后训练进行高保真渲染,并建立计算最优扩展律,仅用6,600 H100 GPU小时训出3B文生图模型,在GenEval和DPG-Bench上取得86/87的成绩。

0 人收藏 0 人点赞
#autoregressive

ORBIT:通过下一频带预测实现自回归时间序列生成

arXiv cs.LG ↗ · 2026-10-21 缓存

ORBIT 提出了一种统一的深度时间序列生成框架,通过频率层次化 VQ-VAE 和频率带自回归 Transformer 实现从低频到高频的下一频带预测,从而先构建全局时间结构再逐步补充细节,在多个真实基准上达到最先进的性能与更高的推理效率。

0 人收藏 0 人点赞
#autoregressive

因果编辑序列化

arXiv cs.CL ↗ · 2026-10-19 缓存

论文提出 Causal Edit Serialization (CES) 框架,通过特殊指针令牌与双索引 RoPE,在标准因果注意力掩码下实现插入、删除、替换、复制和移动等局部化文本编辑,并在文法纠错任务上验证了监督与强化学习后训练的可行性。

0 人收藏 0 人点赞
#autoregressive

用于高效自回归视频生成的推测式强制

Hugging Face Daily Papers ↗ · 2026-10-15 缓存

推测强制通过将中间的干净估计视为草稿并提前接受词元、跳过不必要的去噪步骤,加速少步自回归视频生成,在 LongLive 上以每词元约 1.7 步达到四步生成器的质量,速度提升超过 1.5 倍。

0 人收藏 0 人点赞
#autoregressive

一瞥强制:让双向扩散在一瞥间实现自回归

Hugging Face Daily Papers ↗ · 2026-10-14 缓存

Glance Forcing 提出一种轻量级蒸馏框架,将双向扩散模型的去噪轨迹解耦为慢速与快速两个专家,仅需单条 PF-ODE 轨迹即可超越全训练 SOTA 基线(VBench 总分从 84.04 提升至 84.22),并将轨迹采集成本从数千 GPU 小时降至约 1 个 A100 GPU 小时。

0 人收藏 0 人点赞
#autoregressive

转移律的格结构

Hugging Face Daily Papers ↗ · 2026-10-08 缓存

该论文将扩散模型、自回归及其混合体统一到一个“腐化格”(corruption lattice)框架中,证明调度的代价等于其与精确采样的散度,并指出零成本调度的最少步数由数据几何(如图的 treedepth)决定,还提出可在解码前预测调度优劣的核估计方法,并在 dLLM、图像与视频生成上验证了预测。

0 人收藏 0 人点赞
#autoregressive

@abhibuilds: https://x.com/abhibuilds/status/2106006454046216461

X AI KOLs Timeline ↗ · 2026-10-02 缓存

从第一性原理出发,一步步讲解 LLM 推理中 prefill 与 decode 的实际工作原理,从 ChatGPT 式对话如何通过分词(tokenization)处理提示词、并以自回归方式生成 token 说起。

0 人收藏 0 人点赞
#autoregressive

SemanTok:可预测语义 Token,实现高效自回归视频生成

Hugging Face Daily Papers ↗ · 2026-09-30 缓存

SemanTok 引入了一种变长视频 tokenizer,将冻结的 DINO 特征输入其编码器,并从每个保留的 token 前缀中重建这些特征,从而为自回归视频生成提供可预测的由粗到细语义 token。一个 2.01 亿参数的 SemanTok AR 模型即可匹配甚至超越规模为其 3.4 倍的 VideoFlexTok 模型,在不同模型规模和噪声水平下均展现出强劲的语义对齐能力与生成保真度。

0 人收藏 0 人点赞
#autoregressive

使用清洁锚点的飞行中 KV 缓存以实现更快的自回归视频扩散

Hugging Face Daily Papers ↗ · 2026-09-26 缓存

FlashForward 介绍了一种通过重用飞行中 KV 缓存和使用清洁锚点来加速自回归视频扩散的方法,在保持质量的同时实现了高达 2.92 倍的速度提升。

0 人收藏 0 人点赞
#autoregressive

Stefano Ermon:自回归推理是顺序执行且受内存限制的。扩散模型设计用于映射到GPU——这就是它获胜的原因。

Reddit r/artificial ↗ · 2026-09-25

Augment Code将其编码代理后端切换到Stefano Ermon的Mercury 2.5扩散模型,在生产环境中实现了82%的延迟降低和90%的成本削减。文章强调了扩散模型的性能优势以及独立AI基准测试工具的必要性。

0 人收藏 0 人点赞
#autoregressive

展示 HN: Jevgpt – 用另一个轮子重新发明轮子

Hacker News Top ↗ · 2026-09-23 缓存

作者创建了 Jevgpt,一个使用小词表和规范解码的自回归聊天机器人,作为个人项目分享在 Hacker News 上。

0 人收藏 0 人点赞
#autoregressive

天王星:构建面向具身智能的新一代仿真基础设施

Hugging Face Daily Papers ↗ · 2026-09-23 缓存

天王星是一个面向具身智能的新一代仿真基础设施,它采用关节轨迹条件自回归扩散模型,能够以流式展开和可扩展控制的方式,实现可扩展、低延迟的机器人仿真生成。

0 人收藏 0 人点赞
#autoregressive

Reviser:通过自回归光标动作实现可修订的文本生成

arXiv cs.CL ↗ · 2026-09-21 缓存

Reviser是一种新颖的仅解码器Transformer模型,通过自回归光标动作实现可修订的文本生成,与基线模型相比,在保持有竞争力性能的同时,降低了推理计算成本。

0 人收藏 0 人点赞
#autoregressive

从零开始的世界模型 2:模型训练与梦境生成 [P]

Reddit r/MachineLearning ↗ · 2026-09-19 缓存

本文详细介绍了使用 transformer 为 Super Mario Land 构建一个世界模型,通过标记化输入预测下一个游戏帧,并展示了自回归“梦境生成”来生成未来帧。

0 人收藏 0 人点赞
#autoregressive

Zarya:一种混合自回归-掩码扩散语言模型,支持灵活训练与双模推理

arXiv cs.CL ↗ · 2026-09-18 缓存

Zarya 是一种混合语言模型,联合优化自回归和掩码扩散目标,实现灵活训练和双模推理,已公开发布0.6B、1.7B和4B大小的模型。

0 人收藏 0 人点赞
Next →
← 返回首页

提交意见反馈