标签
MiCoPro 提出了一种用于混合精度量化的端到端软硬件协同设计框架,利用硬件感知代理模型在延迟约束下搜索最优的逐层位宽,并直接部署到边缘硬件,在准确率下降不到3%的情况下,实现了最高40%的延迟降低。
提出PUST,一种新颖的LLM后训练框架,该框架通过轻量级代理模型将奖励探索与分布对齐解耦,从而实现可复用的更新信号以及跨模型的高效弱到强增强。
FastMix 是一个新颖的框架,通过使用单个代理模型和双层优化自动发现训练大型模型的数据混合方式,实现了最先进的性能,并大幅提升效率。
ProxyKV是一种跨模型代理剪枝框架,将重要性评分卸载到轻量级小模型上,以更低的预填充开销实现高精度KV缓存剪枝,在Llama-3.1、Qwen-2.5和Qwen-3系列上匹配KVZip的准确率。