dora

LoRA（低秩适配）是LLM最流行的参数高效微调方法，视频介绍了LoRA及其变体（LoRA+、QLoRA、VeRA、DoRA）的工作原理。

本文详细介绍了 LoRA 及其变体（QLoRA、VeRA、DoRA）的原理，解释了如何通过低秩分解减少可训练参数，实现高效微调大型模型。

本文介绍了DoRA-RBAC，一个用于组合LLM适配器的框架，并测试了几何感知合并是否能提升多域性能。结果显示，与标准平均方法相比，没有一致的改进，表明适配器干扰并非主要由参数空间几何驱动。

本文讨论了在金融领域部署AI代理，同时确保符合NIS2/DORA法规要求，重点关注透明度、防护措施以及潜在数据泄露时的责任归属。

本文对Sub-1B模型在数学推理任务上进行了基准测试，揭示全量微调会主动损害300M参数以下模型的性能，而LoRA和DoRA等参数高效微调（PEFT）则提供了稳定性。作者建议对所有对齐的Sub-1B模型默认使用PEFT，并警告不要对小于500M参数的架构使用全量微调，以防止灾难性遗忘。

一篇Reddit帖子将所有影响AI部署的主要欧盟法规（AI法案、DORA、NIS2、数据法案、CRA、EHDS）整合到单一时间线中，并询问企业最没有准备好的截止日期是哪个。

一份完整指南，介绍如何使用LoRA/DoRA微调NVIDIA的Cosmos Predict 2.5世界模型，以生成机器人操作视频，涵盖数据集准备、训练、推理和评估。