标签
Meshtastic 是一个开源项目，利用廉价的 LoRa 无线电设备构建去中心化、长距离、离网网状通信网络，支持加密文本消息和 GPS 功能，无需手机或持证无线电操作员。
一个教程和项目，演示在AMD MI300X上使用ROCm对Qwen3-1.7B进行LoRA微调，用于临床问答，为医疗AI开发提供无需CUDA的替代方案。
本文提出Badit方法，将大语言模型参数分解为正交的高奇异值LoRA专家，以在多任务指令微调中缓解跨任务干扰。
独立研究表明，在 3B Llama 的工具使用中，227M 参数的超网络相比精心设计的少样本提示毫无增益，仅用 1/10 延迟即可达到 GPT-5 性能的 79.7%。
SAMoRA 通过引入语义感知路由器和任务自适应缩放，在 MoE-LoRA 微调中提升专家专业化与动态加权，在多任务基准上显著优于现有方法。
RDP-LoRA 通过几何轨迹分析与 Ramer-Douglas-Peucker 算法，自动挑出对参数高效微调最关键的层，效果优于全层及随机 LoRA 基线。
JumpLoRA 引入了一个新颖的稀疏适配器框架，用于大语言模型的持续学习。该方法使用 JumpReLU 门控来动态隔离任务参数并防止灾难性遗忘。它增强了基于 LoRA 的方法，并超越了 ELLA 等最先进的持续学习方法。
Aletheia 提出了一种基于梯度引导的层选择方法，用于高效的 LoRA 微调。该方法通过轻量级梯度探针识别与任务相关的 Transformer 层，并选择性地应用适配器，在 14 个模型上实现了 15%-28% 的训练加速，同时保持了在 MMLU、GSM8K 和 HumanEval 基准测试中的下游性能。
本文使用基于扰动的归因分析方法，分析了不同微调策略（全量微调、LoRA、量化LoRA）和模型规模对LLM在自动代码合规性任务中解释行为的影响。研究发现全量微调产生的归因模式比参数高效方法更集中，而较大的模型会形成特定的解释策略，但性能收益在超过7B参数后出现递减。
# 论文页面 - 多模态LLM中的乘法：基于文本、图像和音频输入的计算 来源：[https://huggingface.co/papers/2604.18203](https://huggingface.co/papers/2604.18203) ## 摘要 多模态大语言模型在不同的表示形式与模态下执行精确的多位数乘法时，均表现出一致的计算局限性；其性能与一种新颖的算术负载指标密切相关，该指标比传统的步骤计数方法更能预测准确性
MoVE 提出一种 Mixture-of-LoRA-Experts 架构，在仅 30 分钟精选数据下即可在语音到语音翻译中保留 76% 的非语言发声（笑声、哭泣）。
一个机器学习团队记录了在微调并部署Gemma-4过程中遇到的实际挑战，包括与PEFT、SFTTrainer、DeepSpeed ZeRO-3的不兼容，以及缺乏运行时LoRA服务支持，并提供了每个问题的解决方法。
# 论文页 - B空间拥挤：为LoRA融合校准共享方向 来源：[https://huggingface.co/papers/2604.16826](https://huggingface.co/papers/2604.16826) 发布于4月18日 · 由[https://huggingface.co/yixuantt](https://huggingface.co/yixuantt)提交 [](https://huggingface.co/yixuantt) [yixuan](https://huggingface.co/yixuantt) 于4月21日上传 ## 摘要 通过校准共享方向，可提升LoRA适配器融合性能。