一个0.8B模型在ARC-Challenge上击败了2B模型（42.15%）：闭式权重手术在零反向传播下胜过多GPU SFT（已在NVIDIA L4上独立验证）

几天前我们分享了DynamicTune的核心理念：通过闭式线性代数，在消费级硬件上用约12分钟将轨迹流（trajectory flow）直接从更大的教师模型迁移到更小的学生模型。零反向传播、零训练token、零梯度下降。为了消除本地偏差，我们将未量化的FP16权重上传到了Hugging Face，TPN Bench（TaoFu Protocol）使用官方lm_eval 0.4.12框架，在一块数据中心级NVIDIA L4 GPU上对其进行了独立评测（协调者运行ID：ce494664-d077-4ff1-8741-15cedabc434c）。非常感谢TPN Bench提供的云端GPU算力！以下是完整的ARC-Challenge独立测试数据（1,172道题，零样本，贪心解码，温度0）： * 原版 Qwen3.5-0.8B Base（未量化 BF16）：37.50% acc_norm（34.60% acc） * 3个epoch的SFT蒸馏（Mythos-0.8B，25k Claude对，多GPU DDP）：38.10% acc_norm（35.80% acc） * SFT + Model Soup 合并：37.00% acc_norm（灾难性遗忘） * 原版 Qwen3.5-2B Base（2.5倍参数量，Q8量化）：41.10% acc_norm（37.80% acc） * DynamicTune 0.8B Base（我们的方法，4锚点闭式手术）：42.15% acc_norm（40.19% acc） 为什么这完全疯狂： 一个0.8B模型在物理上击败了一个2.5倍规模的2B模型：在LLM规模定律中，参数量应该是一切的王道。一个8亿参数的模型，本不该在ARC-Challenge上击败一个未压缩的2B模型（42.15% 对 41.10%）。通过从4B模型中提取轨迹动力学，并将其拉回到学生模型的SwiGLU层块中，高阶推理能力被直接压缩进边缘权重。 零反向传播击败了25,000条SFT指令对：一个近期发表的项目（kmamine/merge-corrected-sft-distillation-Qwen-Mythos-0.8B）在多GPU集群上，用25,000条Claude推理对对Qwen3.5-0.8B进行了3个epoch的训练，在过拟合前达到了38.10%。DynamicTune在零梯度下降、零损失函数、零训练token的情况下达到了42.15%。 坚如磐石的3.23 sigma统计显著性：在1,172道题上，+4.65%的差距，标准误为±1.44%，对应的Z分数为3.23 sigma（p < 0.001）。这不是提示词调优的噪声，也不是随机波动。 消费级硬件12分钟 vs 数据中心验证：权重手术在本地一台仅有8GB显存的AMD RX 580上，通过层流式加载（逐层以FP16加载，计算闭式SVD增量，然后写入内存）在约12分钟内完成。但基准测试则100%在云端、在TPN Bench提供的数据中心级NVIDIA L4硬件上进行。 为什么过去的尝试都失败了：谱熵壁垒 如果你盲目地将权重增量应用到学生的全部24个层上，模型会崩溃（NLL暴涨+64.78%）。当我们扫描全部24个层，计算表示残差的归一化谱熵H（范围从0.0到1.0）时，发现了以下模式： * 第0层（H = 0.71）：干净的语义接地。对轨迹对齐具有很高的接受度。 * 第1-22层（H介于0.90到0.96之间）：混乱的叠加结。在一个仅有1024维的8亿参数模型中，多义特征被强行塞进稠密叠加表示中。在这些层强制施加线性更新会导致灾难性干扰。 * 第23层（H = 0.93）：前解嵌入边界，特征在此处被解包为词表logits。 通过将手术限制在4个稀疏锚点块（第0、7、15和23层），并使用阻尼Levenberg-Marquardt Tikhonov伪逆 + 自适应谱秩截断，我们既保护了脆弱的叠加结，又注入了纠偏轨迹速度。 可复现性与权重 一切100%开源，现在即可测试： * GitHub 仓库：https://github.com/dsadawq3/DynamicTune * 基础模型（Safetensors）：https://huggingface.co/F-Labs/Qwen3.5-0.8B-DynamicTune-Base * GGUF 权重（FP16）：https://huggingface.co/F-Labs/Qwen3.5-0.8B-DynamicTune-Base-GGUF（Qwen3.5-0.8B-DynamicTune-Base-F16.gguf，SHA256：d77cf505108271d72f28298f20c2d158e7aeaf50cc22987db05a9a8973e08709） 使用标准 llama.cpp 在本地运行推理： llama-cli -m Qwen3.5-0.8B-DynamicTune-Base-F16.gguf -p "Question: How does DNA replication initiate?\nAnswer:" -c 2048 -n 128 特别感谢TPN Bench（TaoFu Protocol）提供独立的数据中心级NVIDIA L4评测资源。请克隆仓库、运行你自己的基准测试，并亲自验证。