vocabulary-reduction

本文系统地评估了令牌剪枝这一压缩技术在韩语中心的LLM任务上的应用，该技术通过移除与无关语言对应的令牌和嵌入参数来压缩模型。研究评估了流行的多语言模型（Qwen3、Gemma-3、Llama-3、Aya）在不同词汇配置下的表现，发现令牌剪枝能显著改进生成稳定性并降低特定领域部署的内存占用。