llm-activations

本文提出使用线性探针和RFM概念向量，从LLM内部激活中测量文本的概念内容，并将其应用于ESG分类。最佳线性探针在无需任务特定微调的情况下接近微调分类器的准确率，且优于模型自身输出，表明激活携带了响应之外的概念内容。