标签
OmniLens是一种可扩展的透镜方法，用于解读LLM隐藏状态，通过低秩转换器和Subset-KL减少参数与内存，使得在LLaMA-3.3-70B上能够以显著更低的成本构建包含482个透镜的密集集成。