标签
Cartesia 发布了关于分层网络（H-Nets）的研究博客，展示了无需分词器的字节级语言模型在受控实验中实现 3-5 倍计算效率提升，2 阶段 H-Net 以 10 倍更少的计算量和数据超越了规模匹配的开源模型，并在代码等领域的表现出色。
Cartesia 的 From Tokens to Bytes 系列第一篇探讨了 Hierarchical Networks（H-Net）的扩展规律，展示了学习式 tokenization 带来的 3-5 倍计算效率提升，2 阶段 H-Net 以 10 倍更少的算力和数据超越了相匹配的开源模型，并呈现了 in-context tokenization 等新行为，以及在生物、视觉等跨模态任务上的潜力。
普林斯顿大学与 Polymathic AI 推出 FlashMap，这是一种用于推测解码的连续流草稿模型，能够在一次前向传播中生成整个词元块，同时捕捉词元间的依赖关系，在 Qwen3-8B 上实现最高 6.1 倍的无损加速，并在所有基准测试中均优于 DFlash 基线。
Miles Brundage 反思到，语言模型的 token 从一开始就相对"人类 token"非常廉价，这种"天生便宜"的特性是技术得以快速普及的重要原因之一。
一份技术报告在包含7,354项随机试验的语料库上，将分类标签检索与嵌入检索加大语言模型筛选的两阶段方法进行了比较，发现新方法能够检索到系统综述所纳入证据的92%，而标签检索仅能检索到45%，其成本随检索深度增加而上升。
该论文提出了人格潜变量（Personality Latents，PL）方法，通过生成式潜变量优化，从每个人自己的写作文本中学习其专属潜变量，并将这些潜变量作为软前缀注入冻结的语言模型中，在 MBTI 人格预测任务上取得了 0.782 的 AUC，并实现了 Qwen2.5-3B 与 Llama-3.1-8B 之间的跨模型迁移。
该论文研究语言模型在处理花园路径句后是否会保留被放弃的句法分析残余，发现残余效应主要储存在名词短语的状态中，并可通过激活修补（activation patching）在32B和70B模型中近乎完全消除该残余。
研究训练小规模GPT-2模型于儿童日常语音转录（BabyView）和合成儿童导向对话（TinyDialogues）数据上，发现模型会显著特化于特定儿童的语言环境，多儿童数据能提升对混合留出语言的预测但对语法基准改进有限，表明小数据语言学习不仅取决于数据量，还取决于环境来源与匹配度。
本文提出 CARD（认知对齐推理蒸馏），一种基于强化学习的推理蒸馏框架，将大型推理模型的求解轨迹转化为与学生模型认知能力对齐的教学轨迹，通过分布对齐奖励和逻辑连贯性奖励，在不重新采样的情况下提升蒸馏效果。
该论文精确计算了语言模型在被要求随机选数时对每个整数的完整概率分布，发现指令调谐使分布更不均匀：安装了避免轮数的启发式并强化了避免端点值的倾向，但未产生跨模型共享的偏好整数。
该论文提出知识冲突的解决不应依赖固定的启发式规则，而应引入对上下文可靠性的事先概率先验；在 GRACE 与 ClashEval 基准上，基于先验偏移的双声部选择器在各种上下文混合比例下显著优于现有基线。
该论文提出了 Packed-SS，一种自投机解码调度方案。该方案让扩散起草器在验证当前草稿时，提前一次调用构建下一份草稿，从而在单次模型调用中完成验证与起草。其输入规模随投机宽度线性增长，并在 Nemotron 3B/8B 和 SetDLM 1.7B 上实现了更高的吞吐量。
本文研究了一种 LSTM 风格的循环 Transformer，其循环核心共享权重和单个键值缓存，在宽度为 1024 时将参数量减少了 40.4%，并将持久缓存组数从十五组减少到四组。通过一致性损失对齐并行与递归训练过程，消除了 81–89% 的续写损失惩罚；在较低的 token 预算下，权重绑定的成本最低。
该论文评估了动态评估（对正在读取的文本执行梯度更新）在 softmax 注意力、混合线性注意力和掩码扩散语言模型中的效果，发现下一词元损失降低了 5–20%，但表明这种适应捕捉的是风格和词汇，而非事实检索能力；与此同时，对模型自身结论进行低秩蒸馏，可达到上下文学习的性能，且不会降低 GSM8K 上的表现。
本文提出教师演化自蒸馏（TESD），通过以奖励引导的目标持续优化自教师模型，并自适应地降低教师指导不可靠样本的权重，从而改进在策略自蒸馏，在多个数据集和模型规模上均稳定优于 token 级和序列级基线方法。
Soft-MTP 提出一种 KL 梯度恢复技巧，去除多token预测训练中的噪声残差梯度，在无额外开销下改进困惑度、投机解码与推理能力。
SciGame 是一个将科研文献转化为结构化「科学卡片」的受控基准，通过原始与反事实环境配对来分离先验知识与实证证据，评估大模型智能体的科学发现能力，发现精确符号定律恢复仍是主要瓶颈。
纽约大学与德州大学奥斯汀分校的研究分析了14个AI模型的输出，发现多数前沿模型在罕见n-gram、长依赖、堆叠名词复合等与阅读难度相关的语言特征上存在过度使用现象。
RSI Arena 推出了一项分为两个阶段的研究：十个前沿 AI 智能体在固定的 GPU 和 API 预算下，以人类偏好反馈为指导，从同一个基础模型出发，自主开展语言模型后训练。表现最强的智能体（GPT-6 Astra）弥合了基础模型与指令模型之间差距的 76%，且大多数模型在第二阶段比第一阶段更受人类青睐，展示了在结合人类反馈的递归自我改进（RSIHF）方向上迈出的一步。
该论文研究如何通过联合训练策略，让预训练语言模型同时支持单次前向和循环推理两种路径，在保留单次推理质量的同时获得循环计算带来的性能增益。