标签
一条推文,分享了 MiniMax-H3-Turbo-Lora 的 Hugging Face Space,这是 MiniMax H3 Turbo 模型的 LoRA 微调变体。
MiniMax-H3 的早期预览版 LoRA 支持 4 步音视频生成,取代约 20 步,采样速度大约提升 5 倍,但质量仍不成熟。
MiniMax-H3 Turbo 4步音频-视频生成的第三方ComfyUI兼容LoRA转换,包含进一步训练的checkpoint-500变体及示例工作流。
The paper compares five parameter-efficient fine-tuning methods on four small language models for on-device personalization, finding LoRA+ best for energy efficiency and QLoRA best for memory-limited deployment.
本文介绍了MERaLiON-GR,一个面向英语和东南亚语言的语音性别识别模型,基于MERaLiON-SpeechEncoder-2,使用LoRA和ECAPA-TDNN头部进行微调,在多语言基准上取得了最先进的性能。
这是 MiniMax-H3 的早期预览版 LoRA,支持在 4 步采样(而非约 20 步)内联合生成视频和同步音频,采样速度约提升 5 倍,并附带 ComfyUI 自定义节点和三个 bf16 检查点。
NVIDIA shares five lessons from over 5,000 Kagglers who fine-tuned reasoning models using LoRA adapters and synthetic chain-of-thought data in the Nemotron Model Reasoning Challenge, focusing on verifiable data, token budget, and infrastructure.
一位中国用户就中国关于色情和法律审查的法律提供了背景说明,解释了为什么 MiniMax 和其他中国 AI 实验室限制 LoRAs 和内容生成以遵守严格的法律执行。
本文提出MoEGen,一种参数高效的微调框架,利用专家混合技术通过专家码和轻量级超网络生成实例自适应的LoRA更新,在不针对每个专家存储独立适配器的情况下提升了常识推理基准的性能。
Introduces LoCA, a two-stage backpropagation-free method for small-shift adaptation of LLMs, using one-shot calibration to fit local credit assignment maps and closed-form ridge solves for low-rank adapters, achieving lower memory and time than LoRA with competitive cross-entropy on multiple benchmarks.
This paper introduces Omega-S, a lightweight, data-free regularization penalty for low-rank fine-tuning that improves retention of original model capabilities by penalizing variance in weight-matrix node degrees. Experiments on Llama-3-8B with LoRA show it retains more original capability than no regularization or tuned baselines.
Mind Lab 声称其 Macaron-V1 模型在基准测试中超越 GLM-5.2。该模型通过将五个 LoRA 专家模块(每个约十亿参数)附加到 GLM-5.1 上构建而成,系统会根据任务动态切换到最适合的专家模型。模型使用过程中积累的数据可被提炼到专门的 LoRA 适配器中,随着模型的调用而持续更新。
Athena 是 markopolo_ai 对 Qwen3-4B 进行 LoRA 微调得到的 4B 参数模型,在 OPeRA 购物行为预测基准上击败了 GPT-5.6 和 Claude Opus 4.8,为预测购物者行为提供了一款可自行托管的专用模型。
本文介绍了InMyStyle,一个隐私优先的系统,它在小型语言模型(0.5B–7B)上使用LoRA适配器,无需显式提示即可将AI编辑过的文本重写为符合个人用户写作风格的文本。评估显示,不同模型规模下质量趋于平稳,表明紧凑型模型足以胜任此任务。
LARA 是一种高效适应方法,它向冻结模型的残差流添加低秩修正,而不是修改权重,在匹配 LoRA 性能的同时实现可组合行为和推理时调控。
该论文提出 LSPO(LoRA Scaffolded Policy Optimization),用于解决 GRPO 在零奖励“悬崖题”上梯度消失的问题:通过临时 LoRA 适配器进行短暂 SFT 并采样成功轨迹,经重要性采样校正后回灌 RL batch,最终只更新基础模型。实验表明在 DeepMath-103K 上优于 DAPO 基线,平均提升 3.8 点。
Kroma v0.1 是 Krea 2 的 LoRA 微调版本,以兼容 ComfyUI 的 safetensors 文件形式发布,秩为 256,包含 RMSNorm/调制张量的权重增量,采用 MIT 许可。
Introduces CACHE-UK, a stability-aware memory editing framework for sequentially updating quantized LLMs in finance, reducing knowledge degradation on 4-bit OpenLLaMA-3B while improving generalization rates on a UK financial corpus.
Compliance2LoRA提出了一种基于超网络的框架,可为大型推理模型按需生成符合策略的LoRA适配器,从而在无需重新训练单独模型的情况下,实现跨任意策略子集的可调安全对齐。
FedWeave针对联邦MoE-LoRA提出非对称聚合方法,通过分离专家聚合与路由器优化来处理任务异构性,从而实现更好的专精化与性能。