标签
本文分析了策略内蒸馏，揭示其主要通过抑制低概率token而非依赖教师指导来实现改进，并提出了无需监督的OPSA方法，显著提升了推理性能。
ByteOtter在Qwen 3.5 4B上复现了张量级分配，实现了16.67%的相对推理性能提升，同时模型大小仅增加0.412%，标志着这是Gemma之外的首次跨家族应用。