@askalphaxiv: “Probabilistic Tiny Recursive Model” 本文通过在测试时添加高斯噪声使Tiny Recursive Models随机化…
摘要
本文介绍了一种方法,通过在测试时添加高斯噪声并进行并行推理,使Tiny Recursive Models随机化,在不重新训练的情况下,在PPBench和Sudoku-Extreme上取得了显著的性能提升。
“Probabilistic Tiny Recursive Model” 本文通过在测试时添加高斯噪声、运行并行推理,并利用已有的Q头选择最佳答案,使Tiny Recursive Models随机化。无需重新训练,无需任务特定技巧,其PPBench从62.6%跃升至91.2%,Sudoku-Extreme从87.4%跃升至98.75%。
相似文章
@AdinaYakup:蚂蚁集团持续推出新成果 他们刚刚发布了 Ling-3.0-flash-Sante 的权重 这是一个新的开放医疗推理模型 - 124B/…
蚂蚁集团发布了 Ling-3.0-flash-Sante 的模型权重,这是一个开放的医疗推理模型,采用 124B 总参数 / 5.1B 激活参数的 MoE 架构,支持 256K 上下文,采用 MIT 许可证,具备智能体式深度研究与工具使用能力。
恰到 Q 处:通过自生成轨迹恢复量化下的推理能力
论文提出了 OnQ 流水线,通过同策略蒸馏与候选级动态 KL 恢复低比特量化大语言模型的推理能力,在 Qwen3 系列的 2/3 比特量化模型上取得了九项基准测试的最优平均成绩,其中 Qwen3-8B 在 2 比特量化下的平均成绩提升了 10.26 分。
分层掩码扩散语言模型
该论文提出了分层掩码扩散语言模型(HMDLM),将位置级优先级层次结构引入掩码扩散语言模型,在 LM1B 和 WikiHow 上实现了更低的困惑度,并且相较于现有扩散基线模型,提高了数独求解准确率。
角色增强型零样本思维链提示的大规模评估
该论文提出 RE-ZS-CoT 框架,通过整合领域专家角色来增强大语言模型的零样本链式推理,并在 20 个 LLM 和 7 个基准上评估,最高提升达 44 个百分点。
KRAFTON/Raon-1-mini-preview · Hugging Face
KRAFTON AI 发布 Raon-1 mini 预览版,这是一个从零训练的 30B-A4B 混合专家(MoE)语言模型,具备强大的韩语对话与智能体任务能力,支持 262K 长上下文并采用 Apache 2.0 许可。