标签
介绍了Deco-G，一种解码框架，将LLM中的格式遵循与问题求解相分离，通过格式估计模块在不削弱推理能力的前提下确保合规。在数学推理、事件抽取和LLM作为评判者的任务中取得了更高的准确性。
一篇教育性博客文章，解释了 SGLang 的工作原理，包括其运行时、前端语言、RadixAttention 机制以及与 vLLM 的比较。
本文刻画了保形风险控制何时能为结构化LLM输出提供认证，证明了不可能性界限，并分析了不同界限下的认证层次。在六个开放权重模型上的实证验证表明，困难配置在低风险水平下无法被认证，但在放宽目标下可实现实际认证。
LatticeBridge 提出了一种扭曲序贯蒙特卡洛解码器用于结构化序列生成，通过将问题视为稀有事件推断来提升约束满足，在CommonGen、E2E NLG和WikiBio上优于贪心搜索和束搜索基线。
提出了一种名为 In-Writing 的新型混合解码框架，该框架在触发词之后才施加约束，将自由形式推理与结构化生成相结合，从而在分类和推理任务中提升准确性。
本文介绍Ishigaki-IDS-Bench，这是一个用于评估LLMs从BIM信息需求生成信息交付规范（IDS）XML能力的基准测试。对10个LLM的评估显示，最佳模型在内容一致性上达到65.6%的宏F1分数，但仅有27.7%的输出通过内容审核，表明模型在满足标准和词汇约束方面仍存在困难。
DALM提出了一种领域代数语言模型，在由领域格导出的精确结构约束下生成文本，通过将知识组织到具有代数保证的独立领域纤维中来解决幻觉问题。该模型使用三阶段结构化去噪（领域→关系→概念），并使用领域标注的训练数据防止跨领域污染。
Outlines 是一个 Python 库，可确保在生成过程中从 LLM 获得结构化输出（JSON、Pydantic 模型等），跨多个模型提供商工作以消除解析错误。