@charles_irl: kino
摘要
Ali 将 Claude Fable 5 的推理轨迹蒸馏到 Qwen3-4B 中,声称实现了100%的自洽性和零幻觉方差,并将结果开源。
查看缓存全文
缓存时间: 2026/07/04 12:45
kino https://t.co/gIUfijiKW7
ali (@waterloo_intern): 我们将230万条Claude Fable 5推理轨迹蒸馏到了Qwen3-4B中
- 在512个样本下达到100%自一致性
- 0.00比特输出熵
- 零幻觉方差
事实证明,学生并不受限于老师。 它还收敛到了一个普适真理上。
我们开源了
相似文章
Claude Fable 5 蒸馏版
Qwable-v1 是一个开放权重的代理编码模型(35B MoE,3B 活跃参数),通过串联来自 Claude Opus 4.7 推理和 Claude Fable-5 代理工具使用轨迹的蒸馏构建。它能够显式思考 CoT 链,并在提示时充当类似 Claude-Code 风格的代理。
Anthropic 发现 Claude 在静默中推理(J-space)——我们对开源的 Qwen3-8B 使用了同一方法
Anthropic 在 Claude 的激活中发现了静默推理(J-space)。作者在本地将同一雅可比透镜应用于 Qwen3-8B,利用它检测工具调用前的散文偏移,并实现代理防护。
DavidAU/Qwen3.5-9B-Claude-4.6-HighIQ-THINKING-HERETIC-UNCENSORED
DavidAU发布了Qwen 3.5 9B的微调版本,命名为Qwen3.5-9B-Claude-4.6-HighIQ-THINKING-HERETIC-UNCENSORED,利用Claude 4.6的蒸馏数据来改进推理能力并移除审查。基准测试显示相比基础模型有所改进,拒绝率降低。
hesamation/Qwen3.6-35B-A3B-Claude-4.6-Opus-Reasoning-Distilled-GGUF
一个 35B 参数的 Qwen3.6 模型,使用 Claude-Opus 风格的思维链蒸馏数据微调,并以 GGUF 量化格式发布,可在本地高效推理。
Jackrong/Qwen3.5-27B-Claude-4.6-Opus-Reasoning-Distilled
Jackrong 发布了 Qwen3.5-27B-Claude-4.6-Opus-Reasoning-Distilled,这是一个经过微调的 27B 参数模型,具有改进的推理能力和稳定性,并在 GitHub 上提供了使用 Unsloth 框架的全面训练指南和代码。