标签
本综述全面回顾了面向绿色AI的资源高效架构与软硬件协同设计，涵盖高效模型构建、训练/部署策略以及可持续硬件，旨在指导大模型的可持续发展。
CompressKV针对基于GQA的大语言模型，提出了一种语义检索引导的KV缓存压缩方法，通过识别语义检索头来保留关键令牌。在LongBench任务中，仅使用3%的KV缓存即可实现超过97%的全缓存性能。
FedRAN是一种资源感知的分析型联邦持续学习框架，用紧凑的随机特征统计量替代基于梯度的更新，在显著降低通信与计算成本的同时实现高精度。
TriEval是一个新的流水线，用于同时评估LLM的偏见、毒性和真实性，设计为资源高效并可在标准笔记本电脑上运行。已在Llama 3 8B、Mistral 7B、Gemma 2 9B和Claude Haiku上测试，并以开源形式发布。
本文提出了一种针对大语言模型蒸馏管道的端到端能耗核算框架，通过分阶段测量能耗并构建能耗-质量帕累托前沿，揭示了此前被忽视的教师模型侧成本。
本文介绍了一种资源高效的修剪框架，该框架能够识别并移除大型语言模型中与不安全行为相关的参数，同时保持模型的实用性。该方法利用无梯度归因和彩票假说视角，在最小化性能损失的前提下，显著减少了不安全内容的生成，并增强了对越狱攻击的鲁棒性。