@rasbt: 推理扩展第1部分。从改进的文本生成函数开始(温度缩放、top-p过滤、多项式……
摘要
本文介绍了AI文本生成的推理扩展技术,如温度缩放、top-p过滤和自一致性,旨在通过多样化采样和多数投票将答案准确率提高两倍以上。
查看缓存全文
缓存时间: 2026/09/20 17:23
推理缩放 第一部分 从修改版文本生成函数(温度缩放、top-p 过滤、多项式采样)开始,为自洽性和最佳N(将答案准确度提升>2倍)生成多样化输出
00:00 介绍与回顾
00:31 训练时缩放与推理时缩放
07:52 实现内容概览
11:47 环境准备与模型加载
17:43 构建灵活的文本生成函数
28:26 采样与输出多样性
33:43 下一词元逻辑值与贪心解码
38:20 温度缩放逐步解析
42:46 Softmax与词元概率
47:42 多项式采样
54:51 为文本生成添加温度采样
59:31 Top-p过滤逐步解析
1:10:23 为文本生成添加top-p过滤
1:13:43 采样与大语言模型水印技术
1:16:01 自洽性与多数投票机制
1:20:36 自洽性算法实现
1:29:02 MATH-500测试结果
1:35:01 准确度与计算成本的权衡
1:36:50 后续步骤与自我优化
相似文章
Kathleen写作:无注意力机制的自回归生成与数据规模扩展
Kathleen系列的这篇论文表明,一个约0.5M参数、无注意力机制的字节级模型在WikiText-103语言建模和生成上可以击败参数匹配的transformer;引入了一种非参数的“形式距离”(Form Distance)度量来评估文本真实感;并证明从模型自身训练语料库进行检索增强解码能提高生成质量。
@lateinteraction: 顺便说一句,更严肃地说,@dianetc_ 和我一直在想,如果用于推理的 RL 后接……
文章讨论了一篇题为'Reasoning-Intensive Regression'的论文,该论文提出了MENTAT,一种轻量级方法,结合批次反思式提示优化与神经集成学习,以改进AI任务中从文本到数值分数的预测,显示比基线提高多达65%。
@yuetai12575: 兴奋地看到随着模型扩展,收益进一步持续!
文章报道了OpenRSI的Marin-Scaling-Ladder实验的初步结果,其中AI代理自主提出、实现和评估新的优化器,跨越从550M到2.5B的模型规模,发现了PSPR和Codex (GPT-5.6)。
关于自改进测试时智能的综述:基于反馈的自适应、学习与推理扩展
本综述提出了自改进测试时智能的统一视角,将测试时适应、学习和扩展联系起来,用于AI系统在部署期间使用基于反馈的方法改进其行为。
从带标签验证集输出统计预测推理时扩展增益
本文提出了一种方法,利用单次带标签验证集采样中获得的廉价统计量,预测语言模型的最佳N选一推理扩展增益。一个仅有三个核心特征的紧凑预测器与真实增益的斯皮尔曼相关系数ρ=0.90,使得在昂贵的奖励模型评分之前能够筛选配置。