gemma3

一位研究人员提供了证据，表明强目标文本能在 Gemma 3 12B IT 的最终输出之前引发可测量的潜在状态转移，这种转移不同于词汇或内容重叠，并讨论了这是对仅依赖输出评估的 AI 安全的影响。

本文探讨了大语言模型预训练中的隐藏层蒸馏（HLD），并基于 Gemma3 将其与标准的基于 logits 的知识蒸馏进行了比较。研究发现，尽管 HLD 在下游任务中并未始终优于标准方法，但能带来系统的困惑度降低，这表明在预训练期间提取潜在信号方面具有改进潜力。