标签
Prox是一个用于LLM中稀疏SwiGLU FFN的免训练框架，利用近似中间通道显著性来构建通道掩码，无需密集计算。在十个LLM上，Prox优于免训练基线，在70%稀疏度下实现了高达1.99倍的端到端解码加速。
本文介绍了SparseSpec-L，一种用于长上下文LLM推理的无需训练的自推测解码框架，它使用动态稀疏化且可召回（recallable）的KV缓存，以及基于熵的推测长度控制器，相比自回归解码可实现高达2.79倍加速。
ReTopK 是一种无需训练的方法，通过复用历史查询-支持对来加速长上下文大语言模型中的动态 Top-K 稀疏注意力，从而避免全上下文评分和全局 Top-K 选择。在 128K 上下文下，相比精确 Top-K，它实现了最高 3.07 倍的加速，且困惑度仅增加 0.50%。
RAG-HAR+ 是RAG-HAR的一种检索优先、成本优化的扩展，用于从可穿戴传感器进行人体活动识别。它利用检索设计器代理和多数投票机制，在降低LLM使用量的同时保持准确率，并展示了边缘部署的可行性。
介绍V-Steer，一种无需训练的推理时方法，通过编辑缓存的值向量恢复语言模型中的指令层次，在受控基准上将主要约束准确率从低于18%提升至92%，且开销可忽略。
IRIS是一个无需训练的框架，利用冻结的大语言模型为知识图谱中的实体构建可复用的身份表示，从而能够在不同知识图谱间实现高效的实体对齐，无需依赖配对处理。
本文首次对推理时无需训练的语言模型毒性敏感性个性化方法进行了比较评估，显示所有方法均能将对齐错误减少28-47%，但揭示了对齐效果、个性化与语言质量之间的权衡。
OmniScope是一个面向全模态大语言模型的无训练令牌压缩框架，它使用查询作为共享锚点，分别评估音频和视频的相关性，实现了高达3.53倍的预填充加速和超过15%的GPU内存减少，且精度损失极小。
介绍DWT-Fusion，一种免训练框架，通过对token级对数概率进行离散小波分析来检测LLM生成的文本，在多个数据集上取得了优异的AUROC结果。
Sol-Attn 提出了一种无需训练的方法，用于视频生成推理的注意力稀疏化，通过在线softmax过程中动态选择键值块，实现了超过2倍的速度提升，且质量损失极小。
本文介绍了CARGO，一种无需训练的路由框架，利用本地LLM在采样响应上的推理时一致性来决定何时卸载到云端模型，无需额外训练即可实现可控的协作比例。
提出DC-Leap，一种无训练框架，通过引入动态连续验证和草稿引导解码来加速扩散大语言模型，在保持生成质量的同时实现高达105倍的加速。
本文介绍了一种无训练的方法，通过利用3D引擎提供的时空对应，在相机重访位置时保持外观一致性，从而改进自回归生成渲染中的重访一致性。
SkillSight 是一个无需训练的检索框架，它校准技能描述中的共享背景，以提高 LLM 代理的技能检索准确性，相比于密集检索器，Recall@10 最多提升 20.21 个百分点。
Sol-Engine 每周更新宣布集成 Sol Attention，一种用于视频扩散的无需训练的稀疏注意力方法，完整论文将于下周发布。
HARP 是一种无需训练的可解释性方法，它利用配备激活向量数据库及操作工具的 LLM 代理，在概念发现、概念检测、模型引导和秘密抽取方面优于基于训练的方法。
一篇新论文提出了VDAR-Router，这是一个面向LLM的难度感知的基于检索的路由框架，能够根据查询难度自适应选择模型，实现更好的成本-性能权衡。
MSCE是一种免训练框架，将LLM智能体的经验组织为三个记忆层次，并将其转化为带有证据链接的可复用技能，优于现有的记忆增强和技能增强基线。
SelKV 是一个无需训练的 KV 缓存压缩框架，它使用软余弦门进行选择性合并，并通过注意力比例补偿机制纠正 softmax 不平衡，在仅保留 25% 缓存大小的情况下实现近乎无损的生成，在 LongBench 上取得 3.3 倍解码加速。