标签
该论文提出了一套面向生成式推荐推理的整体优化流水线,利用树注意力(Tree Attention)及其他编译器级优化,消除冗余的 KV 缓存访问和主机端开销,无需定制内核,即可在昇腾 NPU 上将端到端延迟降至 vLLM 的最低 1/25。
该论文首次在黑盒设定下研究 AMR 解析器输出的不确定性估计,利用束搜索排名前 k 的候选结果之间的成对相似度评估可靠性,并通过预测拒绝比率分析解析性能与不确定性的关系,识别出性能与可靠性平衡最佳的解析器。
本文提出 CQG-Single 与 CQG-AR 两种连续查询范式,消除基于语义 ID 的生成式推荐中有限宽度束搜索带来的可达性约束,并在多个数据集上超越 TIGER 风格基线。
该论文为大模型推理中基于束搜索的测试时扩展提供了理论保证,证明了朴素束搜索样本复杂度的下界,并提出了置信度过滤束搜索(CF-Beam),将覆盖率依赖从二次降低到接近线性,在长程任务上表现优于 Best-of-N 等序列级方法。
本文介绍了reSolve,一个用于智能体技能自进化的代理引导求解与复现框架,其性能达到74.9%,超越人工精心设计的基线14.8个百分点。
本文研究了使用小语言模型进行语法约束文本到SQL任务时模型大小与推理计算之间的权衡,发现Beam Search优于sample+vote,且扩展模型大小通常比扩展推理计算产生更好的结果。
论文 'Thought-Level Beam Search for Reasoning' 介绍了 Gambit,这是一种在生成过程中主动重新分配测试时计算资源的方法,通过剪枝低分推理路径并从强前缀分支,并且已被 COLM 2026 接收。
提出了一种新颖的D-vine copula估计框架,该框架利用基于梯度的最大似然估计和束搜索以获得更好的全局拟合,并给出了一种通过共形预测进行不确定性量化的局部异常检测方法。
FlashTrie提出了一种GPU加速的约束束搜索方法用于生成式检索,利用简洁的trie布局和协作式CUDA内核来降低解码延迟,实现大规模实时服务,在商业搜索引擎中实现了高达24倍的加速和0.71%的收入提升。
本文提出了检索增强搜索(RAS),一种黑盒自适应方法,利用检索增强搜索和原子编辑分解(AEGIS)来改进基于LLM的C++和Python程序优化,相较于先前方法实现了高达2.06倍的提升。
本文探讨了将gzip压缩算法用作语言模型的可行性,展示了压缩算法可以通过基于压缩长度对候选续文进行评分并利用束搜索来生成文本。
ThinkBooster是一个用于LLM推理的测试时计算扩展的统一框架,提供了模块化Python库、性能-效率基准、兼容OpenAI的代理服务以及可视化调试器。在数学和编程任务上的实证结果展示了实际收益以及质量-成本权衡。
# 论文页面 - (1D) 有序词元实现高效测试时搜索 来源:[https://huggingface.co/papers/2604.15453](https://huggingface.co/papers/2604.15453) ## 摘要 具有“粗到细”词元结构的自回归模型在测试时扩展上表现更佳,并在与图文验证器结合后,实现无需训练的文本到图像生成。 [词元化](https://huggingface.co/papers?q=Tokenization) 是自回归(AR)生成模型的关键组件,将原始