标签
MiCA（Minor Component Adaptation，微成分适配）是一种全新的微调方法，它在次要奇异子空间中初始化适配器，从而更好地吸收知识并减少遗忘。该方法现已合并到 Hugging Face PEFT 库中，可通过 PEFT 主分支获取，并通过现有的 LoRA 接口集成，使用 init_lora_weights='mica'。
介绍了五种参数高效微调技术：LoRA、LoRA-FA、VeRA、Delta-LoRA和LoRA+，详细说明了每种技术在适配过程中如何修改模型权重。
本文介绍了EMA，一种面向学习型系统的模型自适应系统，能够在降低训练和标注成本的同时，提升系统在不断演化环境中的性能。
Google 推出 T5Gemma，这是一组新的编码器-解码器模型，基于 Gemma 2 纯解码器架构改进而来，在摘要和翻译等任务上提供了更好的质量-效率权衡。
OpenAI 推出了 GPT-3.5 Turbo 的微调功能，允许开发者为特定用例定制模型，以获得更好的性能、可控性和输出格式。该更新使得经过微调的 GPT-3.5 Turbo 能够在某些任务上匹配 GPT-4 的性能，同时可将提示词大小减少 90%。