标签
RidgeFill 通过用闭式解岭回归预测深层输入、跳过大部分上层计算来加速 LLM prefill,在 Qwen3.8 系列上实现最高 1.6x 的 TTFT 提速,且几乎不损失检索精度。
本文介绍了智能体软令牌压缩(Agentic Soft-Token Compression,ASTC),这是一种无需训练的方法,利用大语言模型原生的循环动态机制(GDN-attention),将智能体的长时程上下文压缩为软令牌,在注意力对数量最多减少 50.68% 的情况下,达到或超过未压缩时的准确率。
该论文提出 SEDATE(选择性检测与定向编辑),一种基于检测-编辑-验证策略的免训练方法,通过定位跨语言共享的“攻击性”神经元来提升大模型的安全性,并在7种语言和4个模型家族上验证了其优于基线的效果。
GS-MoE 介绍了一种免训练的 MoE 压缩框架,通过分组子空间共享(低秩)与基于 Nyström 的神经元剪枝两条压缩轴同时削减专家参数;在 DeepSeek-MoE-16B-Base 上以 60% 参数压缩保留约 90% 的推理性能,优于 D2-MoE 的 73%。
论文提出了一种名为 DIVA(决策导向的信息价值获取)的训练无关方法,使大语言模型基于证据的决策价值来决定何时检索信息以及何时停止,从而避免为不改变决策的证据付费,并在四个领域、20 个大语言模型上将最佳基线的遗憾值降低 75%。
论文提出 Thinking-in-Bets,一种无需训练的方法,让 LLM 代理在读取用户反馈前先记录已验证的主张与置信度,从而在被挑战时减少错误反转和不必要的修改,同时保持准确性。
论文揭示连续扩散语言模型(如ELF)因生成过程缺少逐步离散采样步骤而导致长尾词汇严重缺失(稀有词生成率仅为人类文本的0.30×),并提出训练无关的GRAFT方法,通过在模型未确定时提交稀有词再重新生成序列,将稀有词比例恢复至人类水平的0.82–1.10×。
Omni-Woodpecker提出一种免训练框架,通过证据-先验重平衡来纠正Omni多模态大模型中的跨模态幻觉,在CMM和AVHBench等基准上显著提升性能。
提出 ALLOT:一种免训练的块稀疏注意力分配方法,通过细胞探测与轨迹校准在延迟预算内优化视频扩散 Transformer 各层-步的稀疏度,在 HunyuanVideo 上实现 11.8 dB PSNR 提升。
HumanSkill-4D 提出一个免训练框架,通过在多个头像之间共享多模态大语言模型与几何算子,实现对可动画高斯人体头像在空间与时间维度上的语言查询,支持部件分割与 3D/4D 指代分割,并引入三个人工标注基准,在多个任务上超越现有基线。
提出来源判定压缩(SJC),一种免训练的后处理方法,通过可校准的判断模型 Jev 对压缩摘要中的每个条目进行评分,判断其是否能在环境输出中找到依据,并移除无来源条目,从而将长时程大语言模型智能体的跨运行可靠性提升 2.1%–8.9%。
提出 CoTS(Competitive Token Selection)训练免调框架,在推理过程中利用 top-2 候选 token 的概率竞争来连续调节离散 token 提交与软表示探索之间的平衡,从而在六个推理基准上超越标准 CoT 和现有训练免调隐式推理方法。
FlowBudget 提出一种免训练的采样预算估计方法,通过无需仿真的插值探针估计相对于求解器的采样复杂度,从而在不进行 FID 与 NFE 扫描的情况下,确定流匹配模型所需的函数求值次数(NFE)。
论文提出 REWIND,一种基于词元熵动态的免训练控制器,用于在测试时通过定点后缀重新生成来修复大语言模型的推理轨迹,在三个模型系列和五个基准上超越所有基线。
该论文提出一种训练无关的权重编辑方法,通过少量对比提示对直接修改模型权重,降低指令微调模型对有害指令(如说谎、性别歧视)的服从率,并在五个模型上验证了其优于激活引导等方法的鲁棒性。
本文提出 SYNC(Symbol-Indexed Neural Communication,符号索引式神经通信)——一种免训练、基于词索引的接口,允许异构语言模型通过词索引和接收方本地隐藏状态方向共享选择性物体事实,在来自五个模型家族的九个接收方上实现了较高的四答案成功率。
该论文提出 PORTAL,一种无需配对图像-文本数据、基于最优传输的多模态投影器初始化方法,可以完全跳过投影器训练阶段,在六个 LLM 主干和 16 个基准上匹敌使用 558k 图文对的标准训练流程。
DoubtLess 提出一种免训练的对比解码方法,用一个更小的推理模型引导大模型输出更简洁的思维链,在七个竞赛数学、研究生科学与编程基准上将 Qwen3-32B 的 CoT 缩短 31% 且准确率不变,优于五个推理时基线。
CacheScope 提出一种无需训练的扩散模型推理加速方法,通过归一化浅层探测变化信号,在线识别高风险缓存步骤并回退到精确计算,在 FLUX.1-dev、Wan2.1 和 Open-Sora 上实现最高 3.57 倍加速,并使 LPIPS 中位数降低 70.1%。
提出AReA:一种免训练的注意力机制,其感受野随去噪过程从粗到细自适应演化,用于实现高效高分辨率Diffusion Transformer图像生成,在多个分辨率和模型上超越现有免训练基线且速度更快。