标签
This paper investigates internal representational differences between RL and SFT fine-tuned models on mathematical reasoning, finding that RL models exhibit more linearly separable hidden states and hierarchical layer importance. Token allocation variability under repeated sampling suggests training pipeline dependence rather than RL vs SFT alone.
本文提出了一种方法，利用冻结的医学大型语言模型（LLM）表示作为共享嵌入空间，从结构化和非结构化电子健康记录数据中预测主要ICD诊断类别，在MIMIC-IV上取得了优于基线方法的准确率，并展示了向MIMIC-III的迁移能力。
本文介绍了一种双重诊断框架，用于追踪LLM中代码推理的内部生命周期，揭示了模型首先‘酝酿’答案，然后分化为四种解析结果，且跨架构的酝酿稳定性一致，但解析成功率不同。
本文引入了'脆弱性'这一探测精度的补充指标，它衡量导致探测精度崩溃的激活噪声水平，从而能够在精度饱和后分析LLM预训练过程中的表示演化。
本文证明，基于LLM隐藏状态的线性探针检测到的是任务格式混淆因素（例如来源身份、回答长度），而非不同的推理模式。通过残差化和因果引导，表明高探针准确率源于表面特征，而非计算结构。