标签
该论文挑战了离散视觉令牌必然存在语义损失的假设，提出因子化向量量化（Factorized Vector Quantization），在多模态理解上达到与连续视觉表示相当的水平，并在离散表示模型中取得最先进性能。
论文提出 Mediator——一种离散、本体无关的 EHR 分词器，可将任意临床概念映射到共享的向量量化码本，使封闭词汇模型可迁移至 eICU，零样本任务的 AUPRC 相对提升 29%。
论文提出 TRACE（Transformer Residual Activation Codebook Encoding），在每个 Transformer 层的后注意力残差处放置向量量化器并预计算码本索引化的键值表示，使分布式边缘设备推理中接收方通过查表直接恢复 K/V，实现通信-计算重叠；在 ViT-Base 与 ViViT-B 上相比最优 VQ 分布式推理框架最高提升 1.89% 精度与 1.27 倍端到端加速，通信开销最高降低 22,624 倍。
SAGE 提出一种面向 2 比特权重向量量化的方法，通过能量分层分组（ESG）与自适应比特分配（ABS），在 Qwen3-30B-A3B 上保留 BF16 平均性能的 95.3%，并借助自定义 CUDA 内核实现最高 2.55 倍的端到端加速。
HyperThink 提出了一种文本到参数的方法：一个轻量级超网络根据查询预测对大语言模型（LLM）中一小部分参数的更新，将冗长的思考过程压缩为单次前向传播，从而改善推理任务的精度-延迟权衡。
DualCast 是一个双路径 LLM 框架，它在冻结的 Qwen3-8B 骨干模型基础上扩展了离散金融词表，用于双模态金融时间序列预测，将快速数值路径与基于新闻条件的慢速修正路径相结合，后者通过组相对策略优化（group relative policy optimization）进行训练。
本文提出了一种 LLM 驱动的智能体架构，将向量量化的测地线轨迹转化为可复用的工具，使快速的非推理模型能够达到链式思维（chain-of-thought）的性能，同时将决策延迟从分钟级降低到秒级。
HyperThink 提出一种 text-to-parameter 超网络方法，通过一次前向传播直接预测 LLM 的参数更新，从而免去长思维链解码，在低延迟场景下显著提升数学与通用推理的准确率-延迟权衡。
TORQUE 提出一种在旋转前后联合优化保留哪些坐标以高精度的量化框架，在固定比特预算下证明 top-k 保留可最小化误差上界，并在 KV 缓存压缩、激活压缩和近邻检索上取得更好的精度-存储权衡。
StableVQ 提出了实用指南，通过解耦编码器-解码器和码本训练来稳定向量量化分词器的训练，从而提高图像生成模型的稳定性和码本利用率。
本文提出了一种针对离散视觉标记化的统一率失真视角，解决了关于量化目标和比较的关键问题，并表明在受控条件下，向量量化实现了最低的失真。
Codebook Agent 引入了一种向量量化自编码器方法，用于设计LLM多代理系统的查询自适应通信拓扑，在多个基准测试上提高了准确性并减少了令牌消耗。
本文提出P2E-VQ，一个检索增强框架，通过离散补丁检索获取ECG-关联信息来增强PPG表示，从而在推理过程中无需ECG即可改善下游任务。
本文介绍了VQ-bench，一个用于组合和评测向量量化算法的统一框架，将25种常见量化器重新表示为原语流水线，并发布可复现的基准测试结果。
This paper proposes a three-stream detector that combines residual-stream motion with coarse regions and fine directions to better identify reasoning errors in LLMs, improving selection accuracy by up to 12% over state-of-the-art displacement-only methods.
本文提出NOVA-KV，一种用于KV缓存量化的变换编码方法，它利用注意力保持变换在查询实际关注的位置分配比特，与先前方法相比，在低比特率下提高了长上下文检索精度。
介绍了FairDiffuseVQVAE，一种两阶段表格扩散模型，通过在采样时以受保护属性为条件来实现公平性，在人口统计均等和均等化几率方面优于以往的公平表格生成器。
提出LC-QAT，一种用于大语言模型的2比特仅权重量化感知训练框架，通过学习仿射映射实现端到端训练，仅使用0.1%–10%的训练数据即达到最优结果。
UniSVQ提出了一种统一的2位量化框架，通过将码字参数化为整数格点的仿射变换，桥接了标量量化与向量量化，在标量方法中达到了最先进水平，并与向量方法性能相当且具有更高的吞吐量。
# LiftQuant 引入"先提升后投影"机制，实现大语言模型的连续（非整数）位宽量化，精准适配硬件内存预算。该框架将 70B 大语言模型压缩至 2.4 位以适配 24GB GPU，性能超越当前最先进的 2 位模型。