lora

提出 Squelch——一种无路由、无新增可训练参数的 rank-one LoRA 专家混合方法，通过噪声底限软阈值和 Stein 无偏风险估计为每个 token 自适应选择激活秩，并在常识推理、知识、数学、代码和 GLUE 基准上显著优于 LoRA 与最强混合基线。

这篇论文提出 MaLoW（Memory as LoRA Weights），将流式视频的长期历史增量编码进固定大小的 LoRA 权重中，冻结主干模型并把当前观测保留在输入里，从而分离长期记忆与实时感知。该方法在 OVO-Bench 和 StreamingBench 上取得领先表现，并在机器人任务上也提升了成功率。

This research traces where recognizable LLM "slop" style (em dashes, "not X, but Y", lists of three, buzzwords) is represented in models and which training stage installs it, showing SFT introduces rhetorical structures and DPO doubles slop. It then removes slop via fixed-vector subtraction distilled into a rank-16 LoRA, cutting the slop score 83% without hurting QA performance.

Zellige AI 发布 Tessera-27B-B-CJK，基于 Qwen3.8-27B 的编码智能体微调模型，通过压缩式 CJK 思维（混合中英文与符号的简写）将每轮思考 token 降至基座的 0.50-0.64 倍，同时保持输出为正常英文与代码，采用 Apache-2.0 开放权重。

介绍了 Runner 工具，可直接在量化 GGUF 权重上训练 LoRA 适配器，无需 PyTorch、transformers 或 FP16 母模型，并支持合并为独立 GGUF 文件用于推理。

LLM2R casts 3D part assembly as sequence modeling with a pretrained decoder-only LLM, using geometric tokens and learnable summary tokens to predict all part poses in a single non-autoregressive pass, achieving state-of-the-art accuracy on PartNet, PartNeXt, and Breaking Bad benchmarks.

社区开发者发布 EXL3-QLoRA：一个基于 ExLlamaV3 分支的原生 PyTorch 训练实现，支持在 2-8bpw 量化模型上进行 QLoRA 训练，取代传统的 BitsAndBytes 4bit 方案，并在损失和显存占用上超越 bnb NF4。

The paper proposes pFedDPO, a personalized federated direct preference optimization method where a shared base model is synchronized via FedAvg while private LoRA adapters capture client-specific preferences, reducing gradient diversity heterogeneity compared to vanilla FedDPO.

该论文发现，在零初始化 LoRA 的 B 矩阵限制的参数池中，密度匹配的随机掩码在基于损失的遗忘指标上持续优于梯度归因选择，质疑了梯度归因额外反向传播开销的必要性。

一篇技术报告，用范畴学视角重新审视参数高效微调（PEFT）方法，将预训练检查点视为权重空间的基点、微调方法视为映射，并以像、纤维与基变换三个不变量刻画表达性、训练动力学与可合并性。作者据此以七个可从公式判读的坐标分类了来自138篇论文的382种方法。

Maxime Rivest回复网友关于如何入门模型微调的提问，给出了从简单分类任务起步、逐步构建自定义任务、利用coding agent辅助实验的五步学习路径建议。

教程演示如何用 Unsloth Studio 无代码微调 Qwen 基础模型，将其转变为可输出结构化决策与置信度分数的决策模型，准确率从约 34% 提升到 65%。

作者在本地用 Qwen3.5 0.8B 作为基座训练了自己的 Jev 风格 Decision 模型，仅用 4GB 显存、60 步（约 10 分钟）LoRA 训练就将准确率从 37% 提升到 65%，并通过视频分享了使用 Unsloth Studio 的完整流程。

论文提出 LadderEdit，通过将每个 LoRA 编辑适配器压缩为低秩草图，并在草图不满足重写、泛化和局部性要求时沿阶梯提升秩，实现 5.2 倍的存储节省，并在 50,000 次连续编辑上保持有效。

本文提出 Diffu-LoRA，一种通过可学习门控与双层优化实现非均匀秩分配的参数高效方法，用于个性化文本到图像扩散模型，在 DreamBooth 等数据集上相较基线提升了主体保真度与提示对齐效果。

该论文系统比较了六种参数高效微调（PEFT）方法在语言和扩散模型中的表现，发现LoRA家族方法也近似保持预训练几何结构，质疑了显式几何保持的必要性，并指出LoRA在抑制遗忘方面最稳定、DoRA在多数对比中取得更高任务得分。

本文提出 FinVector-Market-4B，使用 rank-16 LoRA 在 22,000 条语料上对 Qwen3.5-4B 进行结构化金融任务的适配研究，表明在匹配提示契约下，紧凑型领域适配能带来超出输出格式学习的显著任务收益。

The Itgan team describes a unified Whisper+LoRA recipe adapted for the three NADI 2026 Arabic ASR subtasks, showing that per-dialect specialists, base-model choice, and training-free weight averaging each dominate for different subtasks rather than any single novel component.

该论文定位了LLM持续预训练/微调中灾难性遗忘的根源——语料库中罕见词元的输出嵌入，并提出仅提升输出投影层Adam ε值的单行优化器改动，在160M至12B参数规模上消除了39.4%至67.9%的遗忘且不损害目标学习。

An empirical study of adapting adult ASR models to child speech across Arabic and English while retaining adult performance, comparing fine-tuning, LoRA, and weight-space merging (LERP/TIES), with findings that bilingual adaptation and merging improve the adaptation-retention trade-off.