logit-fusion

标签

Cards List
#logit-fusion

DLLG:LLM专家的动态Logit级门控机制

arXiv cs.CL · 2026-06-04 缓存

DLLG(动态Logit级门控)是一种新颖的框架,通过轻量级可学习门控模块,在token级别的logit空间中动态融合多个专门化LLM,在推理和代码基准测试中超越了路由、启发式集成和参数合并等基线方法。该方法仅需稀疏的响应级监督信号,且在无需重新训练的情况下保留了专家模块的独立性。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈