Virgil: 基于Transformer的语言模型可解释性导航

# Virgil：导航基于Transformer语言模型的可解释性工具  
来源：https://arxiv.org/html/2608.25555  
Martino Ciaperoni \(✉\)、Sezer Kutluk（所属机构：意大利比萨高等师范学校；邮箱：\{name\.surname\}@sns\.it）、Benedetta Muscato（所属机构：意大利比萨高等师范学校；邮箱：\{name\.surname\}@sns\.it）、Marta Marchiori Manerba（所属机构：意大利都灵大学；邮箱：\{name\.surname\}@unito\.it）、Fosca Giannotti（所属机构：意大利比萨高等师范学校；邮箱：\{name\.surname\}@sns\.it）  

###### 摘要  
随着基于Transformer的语言模型被部署在高风险应用中，其可解释性变得愈发关键。因此，可解释性工具生态正在迅速发展，日益丰富但同时也更显分散、更难梳理。  

为应对这一挑战，我们推出Virgil——一个交互式系统，帮助从业者和研究人员（包括非专家）导航面向Transformer语言模型的可解释性工具。该系统基于一个经过筛选的知识库，使用户能在统一界面中发现并比较各类可解释性工具。  

###### 关键词：  
可解释性、Transformer、自然语言处理  

## 1 引言  
基于Transformer的语言模型已广泛应用于多个领域，包括法律和医疗等高风险场景\[8\]。然而，其决策过程仍难以解释，引发了对幻觉和意外行为的担忧\[8\]。因此，语言模型的可解释性研究日益受到关注，催生了大量可解释性工具（或称“解释器”），涵盖从直观的输入归因到机制可解释性等多种方法\[2\]。梳理这一领域颇具挑战。尽管综述文章提供了概述和分类框架，但鲜有研究能在实际场景中指导用户选择合适的解释器\[1,8\]。  

为弥合这一差距，我们推出Virgil——一个交互式系统，旨在引导用户探索基于Transformer语言模型的可解释性工具。Virgil的命名灵感来自引领但丁穿越《地狱》的向导，它通过结构化筛选或自然语言查询，基于一个涵盖多样解释器的精选知识库，帮助用户定位符合需求的解释器。检索到的解释器通过简洁描述展示其关键特性与权衡。此外，Virgil支持直接运行所选解释器并对比其输出。得益于模块化架构，随着新解释器的出现，Virgil可轻松扩展，从而成为学术界与工业界语言模型可解释性的核心资源。Virgil的访问地址为https://huggingface.co/spaces/Explainability4LanguageModels/Virgil，视频演示可观看https://www.youtube.com/watch?v=Ybs8IYztL8k。  

## 2 Virgil架构  
Virgil使用Python实现，基于Streamlit（https://streamlit.io/）构建为Web应用。源代码公开于https://github.com/maciap/Virgil，其中包含Virgil收录的全部解释器列表。  

概述。Virgil采用模块化架构，包含三个组件：存储解释器结构化描述的**知识库**、匹配用户需求的**检索引擎**，以及允许用户交互探索已识别解释器的**探索引擎**。如图1（https://arxiv.org/html/2608.25555#S2.F1）所示，Virgil通过用户友好的界面提供访问。  

Refer to caption  

Refer to caption  

图1：Virgil界面概览。用户通过左侧查询知识库；匹配的可解释性工具显示在中间，所选解释器的详细信息则在右侧呈现。**知识库**。系统核心是一个经过筛选的解释器知识库，每个解释器以“解释器卡片”形式呈现。截至撰写时，知识库包含43张解释器卡片。卡片包含结构化字段，描述目标宏观任务（文本分类或生成）、模型访问方式（白盒或黑盒）、支持的Transformer架构（仅编码器、仅解码器或编码器-解码器）、解释范围（局部或全局）以及理解解释所需的专业水平（非专家、中级专家或专家）。每张卡片还包含概述、能力、优势、局限、有用参考及实现链接。  

**检索引擎**。检索引擎将用户需求映射至合适的解释器。Virgil支持结构化查询（即按任务、模型访问方式、架构和解释范围筛选）以及描述用户需求的自由文本查询。自由文本查询通过句子嵌入模型（all-MiniLM-L6-v2\[3\]）进行编码，并与解释器卡片的三个文本字段（概述、能力、优势）进行比较。相似度分数通过加权排序聚合，三个字段的权重分别为0.5、0.4和0.1。结果还可按专业水平要求排序。  

**探索引擎**。检索到匹配用户需求的解释器后，用户可选择其进行探索。探索引擎展示解释器的关键特性，并在可用时支持通过自定义输入、Hugging Face预训练模型\[6\]及参数交互式运行解释器，生成解释与可视化结果。同时支持解释器的并排对比（“比较视图”）。  

## 3 使用Virgil  
Virgil可在线免编码使用，也支持本地运行并利用硬件加速。用户通过查询知识库检索相关解释器，进而选择、探索并可选地执行这些工具。  

**目标受众**。Virgil面向广泛对解释基于Transformer的语言模型感兴趣的用户，从解释性经验有限的从业者到进行初步分析、探索或比较不同解释器的研究者。系统还可支持涉及多方参与者的教育、培训与协作活动。  

**初步用户反馈**。我们通过问卷调查收集了10位匿名研究人员的初步反馈（问卷链接：https://forms\.gle/nsME36PGQvum7Fh3A），评估了Virgil的直观性、易理解性与实用性。受访者认为Virgil操作直观（80%同意或非常同意），解释器描述清晰且实用（70%同意或非常同意）。多数参与者表示可能向同事推荐Virgil（90%可能或非常可能）。尽管结果积极，但受限于参与者数量少且背景偏向研究领域，我们将计划在未来工作中扩展评估范围，纳入更多从业者和研究人员。  

**用例示例**。以电影评论情感分类任务为例，用户希望找出驱动预测的最关键词元。用户在Virgil中查询兼容文本分类模型的解释器，指定仅编码器Transformer、白盒访问及局部解释。系统返回16个结果。用户首先使用预训练情感分类器运行Input×Gradient\[4\]，但归因分数在相似输入间不稳定。因此用户切换至比较视图，评估Integrated Gradients\[5\]，后者产生了更稳定的归因。图2（https://arxiv.org/html/2608.25555#S3.F2）显示Integrated Gradients更清晰地突出了“good”一词对正向预测的贡献。随后用户查询“反事实”，运行Polyjuice\[7\]生成翻转预测的反事实样本。通过检查内部表征以研究积极情感如何编码，可进一步扩展分析。该工作流程适用于众多应用，包括高风险领域。  

图2：Virgil中使用Input×Gradient（左）和Integrated Gradients计算示例输入“The movie was good”的词元级归因分数。  
## 4 结论  
我们介绍了Virgil——一个用于发现、探索和比较基于Transformer语言模型解释器的交互式系统。未来工作将聚焦于将Virgil发展为组织此类解释器的核心社区资源，促进可解释性的普及，并推动研究成果向实践转化。  

### 致谢  
本研究部分得到ERC高级基金（编号834756，“XAI——AI决策解释的科学与技术”）、欧盟基金协议（编号101120763，“TANGO”）以及FAIR——未来人工智能研究（PE00000013，分支1“以人为中心的人工智能”）的支持，该基金由“下一代欧盟”计划资助。  

### 利益披露  
作者声明无与本文内容相关的利益冲突。  

## 参考文献  
- \[1\]N\. Calderon 与 R\. Reichart\(2025\)。代表利益相关者：大模型时代自然语言处理模型可解释性趋势。见于《NAACL会议论文集：长文》，第656–693页。引用于：§1。  
- \[2\]J\. Ferrando、G\. Sarti、A\. Bisazza 与 M\. R\. Costa\-jussà\(2024\)。基于Transformer的语言模型内部机制入门。arXiv预印本arXiv:2405\.00208。引用于：§1。  
- \[3\]N\. Reimers 与 I\. Gurevych\(2019\)。Sentence\-BERT：使用孪生BERT网络生成句子嵌入。见于《EMNLP\-IJCNLP会议论文集》，第3982–3992页。引用于：§2。  
- \[4\]K\. Simonyan、A\. Vedaldi 与 A\. Zisserman\(2014)。深入卷积网络：可视化图像分类模型与显著图。见于ICLR研讨会。引用于：§3。  
- \[5\]M\. Sundararajan、A\. Taly 与 Q\. Yan\(2017)。深度网络的公理化归因。见于《ICML会议论文集》，第3319–3328页。引用于：§3。  
- \[6\]T\. Wolf等人\(2020\)。Transformers：先进的自然语言处理。见于《EMNLP会议论文集：系统演示》。引用于：§2。  
- \[7\]T\. Wu、M\. T\. Ribeiro、J\. Heer 与 D\. Weld\(2021)。Polyjuice：生成用于解释、评估和改进模型的反事实样本。见于《ACL会议论文集》，第6707–6723页。引用于：§3。  
- \[8\]H\. Zhao、H\. Chen、F\. Yang、N\. Liu、H\. Deng、H\. Cai、S\. Wang、D\. Yin 与 M\. Du\(2024)。大模型可解释性综述。《ACM智能系统技术汇刊》15(2)，第20:1–20:38页。外部链接：文献（https://dx.doi.org/10.1145/3639372）。引用于：§1。