标签
该论文系统比较了六种参数高效微调（PEFT）方法在语言和扩散模型中的表现，发现LoRA家族方法也近似保持预训练几何结构，质疑了显式几何保持的必要性，并指出LoRA在抑制遗忘方面最稳定、DoRA在多数对比中取得更高任务得分。
ALOE引入了一种用于语言模型知识编辑的语义寻址低秩算子，在标准基准测试中以高效性和局部性提高了编辑范围和精度。
作者设计了一个CPU原生的LLM架构，在10B参数模型上实现了超过100 tok/s，但强调了质量问题；他们分享了一个GitHub仓库，包含代码和适配现有模型的研究。
这篇文章解释了五种针对大型语言模型的参数高效微调技术，如LoRA和VeRA，详细说明了每种方法如何以最小的更新来适应模型权重。
本文研究了将CLIP适配用于区域性地理定位，发现通过利用完整的场景配置而非粗糙的地理线索，编码器适配提高了准确性。
本文解释了测试时训练，即AI模型在推理过程中适应以提高个性化并减少内存使用，但代价是增加每用户计算量。文章讨论了对大规模服务模型的影响，以及在长上下文和用户并发之间的平衡。
本文介绍了KV-Skill，这是一个外部因子化算子的设计空间，冻结的语言模型通过轻量级接口读取这些算子，从而能够从文本或奖励中获取任务知识并独立部署。在十个基准上的实验表明，与文本技能、前缀微调和LoRA相比，KV-Skill持续带来改进，且技能可组合、可加载。
本文介绍了NOMADD，一种事后方法，通过在标记周期上拟合基础模型并外推压缩后的参数变化，来减少表格模型中的概念漂移。它以极低的训练和推理成本，实现了与Drift-Resilient TabPFN相当的性能。
提出ROAM框架，利用大型语言模型的世界知识与推理能力，在不重新训练的情况下将冻结的专业模型适配到未见场景，平均绝对误差（MAE）降低超过20%，且额外开销极低。
本研究探讨了将模型的学习限制在仅能学习受信任的LoRA适配器所能表达的内容这一概念，旨在提高微调的安全性和可靠性。
MiCA（Minor Component Adaptation，微成分适配）是一种全新的微调方法，它在次要奇异子空间中初始化适配器，从而更好地吸收知识并减少遗忘。该方法现已合并到 Hugging Face PEFT 库中，可通过 PEFT 主分支获取，并通过现有的 LoRA 接口集成，使用 init_lora_weights='mica'。
介绍了五种参数高效微调技术：LoRA、LoRA-FA、VeRA、Delta-LoRA和LoRA+，详细说明了每种技术在适配过程中如何修改模型权重。
本文介绍了EMA，一种面向学习型系统的模型自适应系统，能够在降低训练和标注成本的同时，提升系统在不断演化环境中的性能。
Google 推出 T5Gemma，这是一组新的编码器-解码器模型，基于 Gemma 2 纯解码器架构改进而来，在摘要和翻译等任务上提供了更好的质量-效率权衡。
OpenAI 推出了 GPT-3.5 Turbo 的微调功能，允许开发者为特定用例定制模型，以获得更好的性能、可控性和输出格式。该更新使得经过微调的 GPT-3.5 Turbo 能够在某些任务上匹配 GPT-4 的性能，同时可将提示词大小减少 90%。