标签
本文通过使用logit lens分析跨层的标记级预测熵轨迹，研究了越狱尝试如何被编码在大语言模型的内部表示中。研究发现，中间层的熵动力学比聚合统计更具区分性，提供了一种无需训练且跨多个模型一致的检测方法。
本文探讨了思维链推理在何时对大语言模型有益，表明早期熵动力学能够可靠地指示推理效用，并介绍了EDRM，这是一个轻量级、无需训练的框架，可自适应选择推理策略，在保持或提升准确率的同时显著节省token。