标签
该论文将多样化生成形式化为通过行列式点过程采样一个大小为 K 的子集,并提出了 PoolDPP,这是一种基于候选池、采用重要性加权的 K-DPP 采样器,具有可证明的 O(1/N) KL 散度收敛界,在开放式生成、文本到 SQL 和 GSM8K 任务上提升了质量与多样性的帕累托前沿。
一个 GitHub 仓库,发布了用于构建日语 Next-Concept 基础模型(ja-NCM)的训练代码、数据准备流程和基准测试,包括同等预算下的掩码扩散与自回归基线,并附有论文和 Hugging Face 权重的链接。
Elon Musk 确认,Grok 的文本水印功能现已在 SpaceX AI API 中默认关闭,仅在法律要求或用户明确请求时才会启用。
VillanovaAI 在 Hugging Face 上发布了 Villanova2 模型家族,这是一系列文本生成和视觉语言模型(包含 2B 和 15B-A3B 变体),提供基础版、指令版、VL 版和 GGUF 版。
DiRAFT 通过从聚合话语先验而非单个源文本段落中采样概念图计划来合成金融转录文本,并在两个金融语料库上对残余保密风险进行实证评估,发现随机采样最能兼顾过渡保真度与隐私保护。
HuggingModels 介绍 novel-humanize-4b:一个基于 Qwen3-4B 构建的 4B 模型,可将生硬的中文文本改写为自然、拟人化的文风,已获 756 次下载和 66 个点赞。
HemmingwayAI 发布了 Hemmingway-1.5,这是一个基于 Qwen 微调的 270 亿参数模型,主打“无法被检测出的 AI”写作,宣称其 90% 的输出在各类 AI 检测器中被判定为人类撰写。
DiffuSpace 发布 Clover-35B-A3B-Preview,这是首个开源的块扩散语言模型,采用 35B 参数的 MoE 骨干(激活参数约 3B)和 128K 上下文窗口,在发布时宣称达到了开源扩散语言模型的最先进性能水平。
该论文提出一个结合人工整理词汇表与少量人类范文的框架,利用启用推理的LLM为极低资源乃至未见语言生成流畅文本,为合成数据自举提供了一条实用路径。
该论文研究了LLM生成内容在信息生态中的循环再利用问题,发现内容回流会使完整错误声明增加7.29个百分点,同时明确背书减少8.33个百分点,揭示了未被背书的错误细节如何在下游生成中持续存在。
论文表明,在统一多模态模型中,从一种模态(文本或图像)推导出的引导向量可以零样本迁移到另一种模态,揭示了尽管存在模态鸿沟,二者仍共享因果控制机制;同时发现一个几何特征:可迁移的引导向量在不同模态中倾向于指向相似的方向。
该论文提出了分层掩码扩散语言模型(HMDLM),将位置级优先级层次结构引入掩码扩散语言模型,在 LM1B 和 WikiHow 上实现了更低的困惑度,并且相较于现有扩散基线模型,提高了数独求解准确率。
论文揭示连续扩散语言模型(如ELF)因生成过程缺少逐步离散采样步骤而导致长尾词汇严重缺失(稀有词生成率仅为人类文本的0.30×),并提出训练无关的GRAFT方法,通过在模型未确定时提交稀有词再重新生成序列,将稀有词比例恢复至人类水平的0.82–1.10×。
该论文研究了在均匀扩散语言模型(UDLM)中循环早期 Transformer 层的方法,在不改变训练目标和采样器的前提下,以显著更少的训练 FLOPs 达到相同的验证 NLL,并在推理时降低生成困惑度。
Stanford HazyResearch 提出 Next-Concept Modeling(NCM),一种既非自回归也非扩散的粗到细并行文本生成方法,据称比强扩散基线快 10–31 倍且训练 tokens 更少;不过实验规模仅到 725M 参数,能否扩展至通用 LLM 规模仍待验证。
该论文提出了一种基于回归的元评估框架,用于评估多语言风格个性化文本生成中的自动指标,发现经过校准的简单字符串和嵌入指标在40种评估设置下可媲美LLM-judge。
Yohei Nakajima 转发介绍下一概念建模(NCM):一种快速、并行、由粗到细的文本生成新范式,在摘要等下游任务上,相比同规模的扩散语言模型,最快可实现 31 倍加速。
PixText 将局部文本修正建模为像素空间的分组图像生成,仅生成目标区域并保留未编辑内容,借助 MeanFlow 实现四步快速生成,在新提出的 TextRefinementBench 上以 83.06% 的字形通过率大幅超越最强基线。
本文提出了 Seq-Drifting 框架,通过对连续词元表示序列应用漂移,在单次前向传播中学习从高斯噪声到文本的映射,在 LM1B 上实现了 36.01 的生成困惑度,并相较于少步和多步扩散语言模型获得了显著的速度提升。
下一概念建模(NCM)提出一种由粗到细的两阶段框架,利用多尺度残差向量量化变分自编码器(VQ-VAE)将文本编码为层级离散码,并逐层并行生成,在 LM1B、OpenWebText 与 XSum 上实现 10-31 倍加速,同时达到或超越最强扩散语言模型基线的性能,并在数独推理任务上显著优于自回归与扩散基线。