标签
文章认为，人类语言源自已有的意识思想，而LLM无需底层概念即可生成文字，这表明存在一种根本性的颠倒，对AI的未来具有启示意义。
本文分析了极限中的语言生成，引入了一个精度概念来研究召回率-精度的权衡。研究表明，当对手隐藏大部分目标语言时，允许无限多个幻觉（频率递减）可以提高召回率。
本文介绍了 CAPRI，一个用于评估 LLMs 是否能够从对话线索中推断用户文化背景并相应调整回应（例如使用适当的计量单位）的数据集。实验表明，LLMs 能够推断文化背景，但除非明确提示，否则常常未能应用这一信息。
本文将语言生成重新表述为随机最优控制问题，解决了自回归和扩散模型的局限性，并提出了使用Flow Matching在潜在控制空间中的闭环扩散方法，实现了高保真生成和高效并行采样。
提出离散随机定位（Discrete Stochastic Localization, DSL），一种用于非自回归文本生成的连续状态扩散框架，采用单位球面令牌嵌入和时步不变的降噪器，在OpenWebText上实现了比掩码离散扩散模型更好的分布忠实性。
CRoCoDiL提出了一种用于语言的连续且鲁棒的条件扩散方法，将掩码扩散模型转移到连续语义空间中，相比LLaDA等离散方法，生成质量更优，采样速度快10倍。
ConlangCrafter是一个多跳LLM流程，通过将构造语言(conlang)创建过程分解为包括音系、形态、句法、词汇生成和翻译在内的模块化阶段，实现构造语言的自动化创建。该系统利用LLMs的元语言推理能力，结合随机性注入和自我完善来生成连贯且类型学多样的构造语言。