interactions

本文介绍了一种基于交互的提示敏感性 (IPS) 指标，通过分析交互来评估和解释大语言模型中的提示敏感性。该指标应用于50个开源LLM，识别了如微调和模型规模等因素通过低阶交互降低敏感性。

本文提出了一种基于博弈论交互的统一方法，用于解释大型语言模型中的知识蒸馏，发现蒸馏会稀疏化交互，并引入了一种损失函数CIP来提升性能。