标签
FedRAN是一种资源感知的分析型联邦持续学习框架，用紧凑的随机特征统计量替代基于梯度的更新，在显著降低通信与计算成本的同时实现高精度。
TriEval是一个新的流水线，用于同时评估LLM的偏见、毒性和真实性，设计为资源高效并可在标准笔记本电脑上运行。已在Llama 3 8B、Mistral 7B、Gemma 2 9B和Claude Haiku上测试，并以开源形式发布。
本文提出了一种针对大语言模型蒸馏管道的端到端能耗核算框架，通过分阶段测量能耗并构建能耗-质量帕累托前沿，揭示了此前被忽视的教师模型侧成本。
本文介绍了一种资源高效的修剪框架，该框架能够识别并移除大型语言模型中与不安全行为相关的参数，同时保持模型的实用性。该方法利用无梯度归因和彩票假说视角，在最小化性能损失的前提下，显著减少了不安全内容的生成，并增强了对越狱攻击的鲁棒性。