标签
FluxLite 提出了一种无需训练、在推理阶段实现的提议控制框架,用于离散扩散模型。该框架通过在 Feynman-Kac 势中引入图散度项来补偿跳跃率扰动,由此得到 HEU 和 D-VCG 两种采样器,在标准 SMC 基线方法的基础上大幅降低了重加权方差与采样误差。
这个GitHub项目使用Jev模型创建了一个具有各种采样策略的糟糕聊天机器人,在Claude的帮助下开发,作为一个有趣的实验。
本文提出了一种方法,使氛围设计智能体能够通过结构化设计规范将探索与实现分离,从而探索多样化的UI替代方案。该方法在168个提示和一个超过30万任务的大型在线实验中进行了评估。
本文介绍了 Newton Matching,这是一种用于生成模型微调和采样的统一框架。它通过将学习视为迭代优化过程并利用条件匹配结构,解决了现有方法的局限性。
本文讨论了泊松圆盘采样,一种以最小距离随机放置点的技术,并详细介绍了Bridson在2007年一篇高度引用论文中的高效算法,以及针对计算机图形学和模拟的改进。
本文探讨了为什么即使所有变量恒定,大型语言模型对相同提示仍生成不同输出,并将其归因于AI采样过程中固有的随机性。
本文提出了一个基于采样算法(如Sequential Monte Carlo和Replica Exchange)引导和扩展大型语言模型的理论框架,旨在无需外部监督即可提升生成质量。
文章讨论了 2026-07-28 更新日志中 MCP 规范对 Sampling 的弃用,将模型调用成本从客户端转移到服务器,并建议如何通过代码或日志检查服务器是否依赖 Sampling。
提出了一种无需训练的语义感知核熵(SAKE)引导方法,用于文本扩散模型,利用核格拉姆矩阵上的二阶Rényi熵在采样过程中平衡保真度与多样性。实验表明,在推理密集型任务上,该方法改善了Pareto前沿和多样本性能。
MindControl 是 llama.cpp 的一个分支,允许在采样过程中通过注入来引导语言模型的推理过程,从而实现更加可控的输出。
一篇题为'Verbalized Sampling: How to Mitigate Mode Collapse and Unlock LLM Diversity'的论文被ICML接收。该论文提出了一个简单的提示工程技巧,以实现更多样化的采样,引发了关于此类工作是否属于顶级机器学习会议的争论。
介绍CuBAS,一种用于监督分类中自适应数据选择的信息几何框架,利用数据流形的局部曲率识别信息丰富的样本,在30个基准数据集上实现了更高的准确率。
介绍了 Bootstrap Flow-Map Tree (BFMT),一种计算高效的采样框架,用于在预算约束下进行历史感知的全局搜索和对齐,实现从探索到精化的动态转换。
本文介绍了VGB,一种带有概率回溯的过程引导采样算法,通过鲁棒地处理验证器错误,显著提升了小型0.5B模型的编码性能。
本文提出了一种用于离散流匹配的时间重参数化累积强度外推(TR-CIE)采样器,通过重新缩放时间网格和重用缓存的模型输出,在有限函数评估次数下提高采样质量,并在文本和图像生成上进行了理论分析和实验。
介绍了Nexus Sampling,一种无需训练的KV-cache驱逐方法,采用加权蓄水池采样代替确定性top-k选择,在固定内存预算下提升了长上下文LLM推理性能,在80%驱逐率下达到与密集注意力相匹配的性能。
推荐一篇关于现代LLM采样机制的深度指南,涵盖Temperature、Top-P、Mirostat等方法,对开发者提升输出质量有重要参考价值。
本文发现,大型语言模型在重分词下部分表现出涌现式对称性——即在不改变字节的情况下,将提示的标准分词替换为另一种有效的分词方式。作者利用这一现象来探究组合理解能力,并提出将重分词作为一种新颖的推理时采样策略,能够恢复传统温度采样无法找到的解。