标签
UEmbed 是一个仅解码器的多模态嵌入模型，能够在一次前向传播中同时生成稀疏和稠密表示，已发布 2B、4B 和 9B 三种规模。它在 MMEB-v2 上优于现有基于公开数据训练的多模态嵌入模型，并在 BEIR 上保持竞争力。
Modus是一个仅解码器模型，能够从其他模态的任意组合预测任意模态，无需特定模态的头部或损失函数，就在多个基准测试上取得了强劲的性能。
本文证明，扩展时间点语言模型（仅基于每个日历日期之前可用的文本进行训练）可以显著缩小与无限制模型之间的性能差距，从而在金融和社会科学中实现有效的回测和因果推断。作者训练了多达40亿参数的仅解码器Transformer，使用1万亿按时间顺序过滤的token，并发布了完整流程。
Inkling is a 975B-parameter sparse mixture-of-experts multimodal model accepting text, image and audio inputs and generating text outputs. Released with open weights for research, fine-tuning, and integration.
UniSE 是一个统一的、无需提示的、自回归语音增强模型，基于纯解码器语言模型，支持单一模型内完成语音恢复、目标说话人提取和语音分离等多种任务。
PartRep提出了一种针对仅解码器LLM的选择性提示重复方法，仅追加最有信息量的令牌（通过NLL选择），而非完整提示，从而减少KV缓存和预填充FLOPs，同时在多个基准测试上保留大部分准确率提升。
本文研究了利用连续嵌入空间优化从仅解码器语言模型的最后一层隐藏状态恢复输入令牌序列的问题，揭示了高频功能词是主要失败点，而内容词几乎完美恢复，实现了高达97.5%的精确匹配率。
本文介绍了 SPEED，一种层非对称 KV 可见性策略，通过仅在预填阶段的下层处理提示 token，同时在解码阶段保持全深度注意力，从而降低长上下文推理的成本。
River-LLM 提出一种无需训练的 decoder-only 大模型早退框架，通过 KV 共享消除 KV-cache 缺口，在无损质量的前提下实现 1.71–2.16 倍推理加速。