标签
本文介绍了trie自动机，一种专为有限集设计的约束解码机制，通过Aho-Corasick匹配预计算token掩码，在vLLM批处理中相比XGrammar实现了高达29倍的端到端吞吐量提升，同时保证100%的输出有效性。
作者介绍了一种使用llama.cpp中的GBNF语法来约束本地AI模型输出、确保生成有效JSON的方法。构建了一个编译器，将工具模式转换为语法规则，并在每轮对话中缩小范围，只保留相关工具。
Rapid-MLX 0.11.0 带来了显著的性能提升，包括前缀缓存和响应缓存，支持新的模型家族，如 HY3 295B MoE 和 Qwen3-Coder-Next 80B，引入了结构化输出，确保有效的工具调用，并添加了与 MCP 服务器的无缝集成，用于自主代理工作流程。
一项研究表明，当要求大语言模型以JSON格式输出时，与普通聊天相比，其答案多样性显著下降，众数答案变得更加常见，而独特模型失去了一半的独特性。
本文介绍了OrderBench，一个针对餐厅点餐LLM代理的基准测试，用于评估超出模式有效性的语义可靠性，展示了结构化输出模式可以实现完美的模式有效性，但仍然存在较高的语义错误率。
本文在结构化基准上评估了九个开放权重的小型语言模型（参数量135M至3B），并证明参数高效微调显著提升了准确率，使其在结构化小众工作负载的本地部署中具备可行性。
AnySearch 是一个为 AI Agent 设计的搜索基础设施，支持实时网页搜索和垂直领域搜索，输出结构化 Markdown，方便 Agent 直接使用，提升搜索效率。
本文分享了在生产环境中可靠地从LLM生成结构化JSON输出的经验，涵盖JSON模式、模式验证和重试循环等方法，实现了99.5%的有效性。
本文研究了消息格式（如自由文本、JSON、三元组）在多跳LLM智能体中继中如何影响信息丢失，发现格式效应取决于中继模型的能力，且结构能忠实地保留内容但不会纠正错误。
本文研究了符号分支重复惩罚如何在不同模型和推理框架中导致结构化输出损坏和规范依赖，提供了测量结果以及与替代重复控制的比较。
IFStruct是由Liquid AI开发的结构化输出指令遵循基准，现在在Hugging Face上有了排行榜，旨在改进小模型以进行本地执行和正确的工具使用。
ifstruct 是 Liquid AI 推出的一个针对结构化输出的指令遵循基准测试，旨在推动该领域发展出更好的、可本地运行的小型模型。
一种实用技术，通过将验证错误反馈到重试提示中，改进语言模型的结构化输出生成，使模型能够自我修正而非盲目重试。该方法以模型易理解的方式描述错误，并提供先前输出供其编辑。
作者分享了五个反复导致智能体（AI Agent）失效的模式：智能体任务过多、破坏性操作缺少人工干预、输出非结构化、没有费用上限、缺少不确定性升级路径。并提供了实用的防护措施和可靠部署清单。
本文识别并分析了开放权重大模型在同时启用工具调用和JSON模式约束时出现的'工具抑制'现象，提出了约束优先级反转假设以及一种名为'透明两遍执行'的缓解策略。
分析了 DiffusionGemma 的双向注意力和并行块生成如何由于其能够修正 token 的能力，可能产生更高的有效工具调用率，尽管其基础质量低于 Gemma 4。
讨论优化DiffusionGemma推理、减少幻觉以及提高工具使用和代理性能的多种方法，包括熵约束采样、模式脚手架和去噪期间的检索。
本文介绍了如何使用GRPO微调LLM（Qwen3-8B）以实现可靠的JSON结构化输出，将模式准确率从62%提升至82%，超越了GPT-4.1的58%。
通过受治理运行时处理市场数据的实时代理实验揭示了三个意外发现：提示结构比推理质量更能决定执行可靠性；结构化输出能够影响代理的决策；将推理和提取分离为两个调用可以维持高解析成功率。这些发现表明，治理应位于执行边界，而非自由形式的推理层。