大型语言模型的高效引导生成

Papers with Code Trending 论文

摘要

本文介绍了一种高效的方法,利用正则表达式和上下文无关文法引导LLM文本生成,开销极小,并在开源Python库Outlines中实现。

在本文中,我们描述了一种高效的方法,利用正则表达式和上下文无关文法引导语言模型文本生成。我们的方法对token序列生成过程几乎没有增加开销,使引导生成在实践中变得可行。我们在开源Python库Outlines中提供了实现。
查看原文
查看缓存全文

缓存时间: 2026/06/24 07:49

论文页面 - 大型语言模型的高效指导式生成

来源:https://huggingface.co/papers/2307.09702 发布于 2023年7月19日

摘要

一种高效方法利用正则表达式和上下文无关文法指导语言模型文本生成,且开销极低。

本文描述了一种高效的方法,用于指导语言模型 (https://huggingface.co/papers?q=language%20model) 文本生成,借助正则表达式 (https://huggingface.co/papers?q=regular%20expressions) 和上下文无关文法 (https://huggingface.co/papers?q=context-free%20grammars)。我们的方法在 token 序列生成过程中几乎不增加额外开销,使指导式生成在实践中变得可行。该方法的实现已集成到开源 Python 库 Outlines 中。

查看 arXiv 页面 (https://arxiv.org/abs/2307.09702)查看 PDF (https://arxiv.org/pdf/2307.09702)GitHub14.1kauto (https://github.com/normal-computing/outlines)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2307.09702)

在您的 agent 中获取此论文:

hf papers read 2307.09702

没有最新 CLI?curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型0

暂无模型关联此论文

在模型 README.md 中引用 arxiv.org/abs/2307.09702 即可从本页链接。

引用此论文的数据集0

暂无数据集关联此论文

在数据集 README.md 中引用 arxiv.org/abs/2307.09702 即可从本页链接。

引用此论文的 Spaces0

暂无 Space 关联此论文

在 Space README.md 中引用 arxiv.org/abs/2307.09702 即可从本页链接。

包含此论文的收藏集0

暂无收藏集包含此论文

将此论文添加到收藏集 (https://huggingface.co/new-collection) 即可从本页链接。

相似文章

自回归语言模型的可处理层级控制

arXiv cs.AI

本文介绍了一种可处理的方法,用于控制自回归大语言模型的生成,使其在多项式时间内满足LR(k)上下文无关文法,相比之前指数时间的方法有所改进。文中证明,当前的大语言模型常常无法生成满足简单嵌套约束的序列,从而凸显了高效约束生成的必要性。

通过大型模型的演化

OpenAI Blog

本论文证明了在代码上训练的大型语言模型可以显著增强遗传编程的变异算子,使得能够在 Sodarace 领域中生成数十万个功能性 Python 程序用于机器人设计,且无需预训练数据。该方法称为演化通过大型模型(ELM),将 LLM 与 MAP-Elites 相结合,为上下文特定的制品生成引导新的条件模型。

探索用于法院观点生成的轻量级大语言模型

arXiv cs.CL

本文系统性地探索了轻量级(<2B)大语言模型在刑事法院观点生成中的能力,研究了模型架构、规模与对罪名预测影响之间的权衡。作者还介绍了CVGEvalKit,一个包含三个公开数据集的评估框架。

使用推理代理的大规模反例引导学习

arXiv cs.LG

本文提出将反例引导学习用于LLM执行正则表达式归纳,其中验证器提供反例以优化候选表达式。该方法显著提高了具有挑战性任务上的样本效率和成功率,表明LLM可以从结构化反馈中受益,而不仅仅是将其视为额外数据。