标签
DynamicTune通过闭式线性代数，在约12分钟内将推理能力从更大的教师模型迁移到0.8B模型，全程零反向传播，在ARC-Challenge上达到42.15%的acc_norm，超过了标准2B模型（41.10%）。FP16权重、GGUF文件和GitHub仓库均已开源，并在一块NVIDIA L4上完成了独立基准测试。
研究人员提出一种免反向传播的闭式轨迹匹配方法，将 4B 模型的能力迁移到 0.8B 学生模型。他们发现将权重手术限制在 4 个锚定层可以避免 NLL 爆炸，在 30 个基准测试上将留出集 NLL 降低 10.8%，且整个过程仅需一块 8GB 的 RX 580 显卡即可完成。
作者Alexey Fateev拆解了Qwen3.8-27B AI模型，通过零训练的权重手术提取MoE结构，发现只有两个神经元在超过90%的token上活跃。
本文研究了通过编辑单个神经元能否修复Gemma 4模型在长序列事实列举任务中的重复循环问题。研究发现，对少量MLP神经元进行有针对性的权重编辑可以显著减少循环故障，但无法完全消除较大模型中的末日循环（doom looping）。