从义务到规范:关于验证欧盟AI法案需求的需求工程综述
摘要
本文提出了一项混合方法调查和专家访谈研究,探讨基于LLM的验证工具如何帮助组织将欧盟AI法案的义务转化为可测试、可审计的需求和证据工件。
arXiv:2607.21608v1 公告类型:交叉
摘要:随着欧盟AI法案的生效,开发或运营AI系统的组织在透明度、风险管理和可追溯性方面面临新的义务。对于需求工程(RE),这些义务必须转化为可测试、可审计的需求和可验证的证据。然而,许多组织目前缺乏系统化的流程来实现这一点。我们假设基于LLM的智能验证工具可以支持这种转化,从而帮助缩小这一差距。我们提出了一项混合方法探索性研究,包括专家访谈(N=10)和在线调查(N=15),以评估组织对欧盟AI法案导向的需求工程的准备情况,以及对基于LLM的智能闭环验证工具的看法,参与者涵盖需求工程、数据科学、开发与合规角色。我们的研究结果表明,尽管欧盟AI法案被认为高度相关,但结构化机制来捕获监管义务、将更新传播到项目中、以及维护全生命周期的可追溯性和证据往往缺失。参与者认为基于LLM的工具在将义务映射到需求、评估覆盖率和组织证据方面有前景,但对完全自动化表达了强烈担忧,并强调需要保障措施。基于这些发现,我们概述了欧盟AI法案就绪闭环方法的最低要求。
查看缓存全文
缓存时间: 2026/07/27 07:41
# 从义务到规范:关于在需求工程中验证欧盟人工智能法案要求的调查 Source: https://arxiv.org/html/2607.21608 ###### 摘要 随着欧盟人工智能法案(EU AI Act)正式生效,开发或运营人工智能系统的组织在透明度、风险管理及可追溯性方面面临新的义务。对于需求工程(RE)而言,这些义务必须转化为可测试、可审计的需求以及可验证的证据。然而,目前许多组织缺乏实现这一转化的系统性流程。我们假设,基于大语言模型(LLM)的智能体验证工具能够支持这一转化,从而有助于弥合这一差距。 我们开展了一项混合方法探索性研究,包括专家访谈(N=10)和在线问卷调查(N=25),以评估组织在面向欧盟人工智能法案的需求工程方面的准备程度,以及对基于LLM的智能体闭环验证工具的认知。参与者涵盖需求工程、数据科学、开发与合规等角色。结果显示,尽管欧盟人工智能法案被视为高度相关,但通常缺乏捕获监管义务、将更新传播到项目中、以及维护全生命周期可追溯性和证据的结构化机制。参与者认为基于LLM的工具在将义务映射到需求、评估覆盖范围以及组织证据方面有潜力,但对完全自动化表达了强烈担忧,并强调需要设置保障措施。基于这些发现,我们概述了面向欧盟人工智能法案就绪的闭环方法的最低要求。 ## I 引言 人工智能(AI)系统越来越多地应用于医疗、公共管理、金融和汽车等关键领域[14 (https://arxiv.org/html/2607.21608#bib.bib3),10 (https://arxiv.org/html/2607.21608#bib.bib5),11 (https://arxiv.org/html/2607.21608#bib.bib4)]。对于这些系统,需求工程不仅要处理功能性和传统的质量需求,还必须纳入监管、伦理和风险相关的约束[12 (https://arxiv.org/html/2607.21608#bib.bib13),1 (https://arxiv.org/html/2607.21608#bib.bib12),3 (https://arxiv.org/html/2607.21608#bib.bib15)]。欧洲人工智能法案(EU AI Act)的生效为“高风险”AI系统定义了明确的义务,包括风险管理、数据治理、文档记录、透明度、人工监督、鲁棒性、准确性和网络安全等要求[6 (https://arxiv.org/html/2607.21608#bib.bib1)]。 对于在欧洲开发或部署AI系统的组织而言,这引入了一个新的合规层。在需求工程实践方面,这形成了一个移动目标:义务必须反映在具体、可测试的项目需求和证据制品中。高层次的法律和规范性义务必须转化为高层需求(HLRs),再细化为可测试的低层需求(LLRs),并在整个系统生命周期中追溯到设计、实现和证据制品。由于欧盟人工智能法案新近出台,且标准和指南仍在演进,许多团队不得不在监管不确定性的情况下做好准备,同时确保其需求工程和质量管理流程达到“EU AI Act-ready”状态。 来自安全关键和受监管领域的经验表明,将需求与法规对齐、维护可追溯性以及验证质量和风险需求是一项要求高且通常劳动密集型的任务[14 (https://arxiv.org/html/2607.21608#bib.bib3)]。在欧盟人工智能法案的具体背景下,从RE角度仍有许多问题悬而未决[10 (https://arxiv.org/html/2607.21608#bib.bib5),11 (https://arxiv.org/html/2607.21608#bib.bib4),16 (https://arxiv.org/html/2607.21608#bib.bib2)]。目前尚不清楚组织在构建面向AI法案的RE治理结构方面进展如何,例如:是否维护了适用义务的结构化视图,监管变化如何传播到RE和质量管理流程中,以及在多大程度上定义了角色、策略和监控机制。同样,我们也缺乏实证洞察,以了解从业人员如何验证与欧盟人工智能法案相关的需求、他们执行哪些活动、在映射义务和检查覆盖范围方面投入了多少精力,以及在未来12-24个月中他们认为最大的风险在哪里。 近期大语言模型(LLMs)和多智能体系统(MAS)的进展正被探索用于支持RE活动[13 (https://arxiv.org/html/2607.21608#bib.bib6),8 (https://arxiv.org/html/2607.21608#bib.bib8),15 (https://arxiv.org/html/2607.21608#bib.bib11)]。这些探索得到了XTRAREG[2 (https://arxiv.org/html/2607.21608#bib.bib19)]和基于LLM的可追溯性恢复[7 (https://arxiv.org/html/2607.21608#bib.bib10)]等研究的补充,这些研究展示了LLM从法律文本和辅助来源中提取和恢复需求的潜力。我们设想一个基于LLM的智能体闭环系统,它将精心策划的欧盟AI法规知识库转化为结构化的检查表和验证标准,用于RE。专门的验证智能体持续将HLRs映射到项目特定的LLRs,评估RE制品之间的覆盖范围、一致性和可追溯性,并附上源文档的引用作为依据。人机协同(HITL)评审、策略门控和审计日志反馈回知识库,形成一个透明的验证周期,减少人工劳动同时确保监管控制。基于此,我们假设基于LLM的智能体闭环方法可用于欧盟人工智能法案的验证,其中智能体使用结构化的监管知识、需求制品和评估数据来确保合规性:(i) 将AI法案义务映射到项目特定需求,(ii) 评估覆盖范围、一致性和可追溯性,以及 (iii) 以可审计的方式收集和结构化证据。对话智能体与利益相关者互动以澄清歧义,而HITL机制和策略门控确保领域专家控制和可解释的验证结果。 此类工具的实用性取决于两个相互关联的方面:**准备度** 和 **接受度**。在准备度方面,企业至少需要具备面向AI法案的RE的基本治理成熟度(例如,政策、指定的负责人、监控以及初步的项目经验)。在接受度方面,从业人员必须认为基于智能体、基于LLM的验证有用且可信,理解可接受的错误率和风险等级,并同意设置保障措施,如审计日志、源引用、HITL验证、受控部署或本地处理。如果不了解这些相互关联方面的实证知识,就难以设计出符合现实约束和期望的面向AI法案的RE支持工具。 在本文中,我们报告了一项针对参与AI相关RE、数据科学、工程和合规角色的从业人员的探索性调查。调查工具考察了: - • 组织在RE内部及相关领域的AI法案准备度(治理、政策、角色、监控、时间表) - • 当前在项目中映射和验证监管义务的投入及感知风险 - • 对基于LLM的智能体闭环需求验证工具的态度,包括接受度、信任度、感知有用性、所需护栏以及参与试点的意愿。 基于此焦点,我们提出以下研究问题(RQs): RQ1:组织在将欧盟人工智能法案义务整合到RE中的准备程度如何? RQ2:行业从业人员如何看待基于LLM的智能体闭环需求验证工具的有用性、信任度和采用条件? 本文做出以下贡献: - • RE中AI法案准备度的实证快照。我们描述了组织目前在RE内部及相关领域如何处理欧盟人工智能法案相关义务,包括感知重要性、准备状态、治理结构和验证实践。 - • 当前验证投入和挑战的特征描述。我们提供了证据,说明团队在映射和验证监管义务上投入了多少精力,哪些欧盟人工智能法案要求预计对RE影响最大,以及他们在未来12-24个月预见哪些风险和挑战。 - • 行业对基于LLM的智能体验证工具的看法。我们调查了从业人员如何评估基于LLM的智能体用于需求验证的潜力,他们会委派哪些RE任务,他们认为可接受的错误率和自主程度,以及他们认为哪些信任和治理机制(例如审计日志、引用、HITL、护栏)是必不可少的。 - • 为设计面向AI法案就绪的RE闭环提供启示。我们推导出基于LLM的智能体闭环的设计启示和考虑因素,以支持以审计就绪、符合ISO 29148的方式验证欧盟人工智能法案要求。 本文其余部分结构如下。第二节回顾了受监管AI系统的RE、合规导向的RE以及基于LLM的RE支持的相关工作。第三节介绍了我们的调查设计、工具和分析流程。第四节展示了关于AI法案准备度、当前验证实践以及行业对基于LLM的智能体验证看法的结果。第五节讨论了对闭环验证工具设计的启示,并概述了局限性。第六节总结并指出未来工作方向。 ## II 相关工作 本节将我们的工作置于先前关于RE中的法规合规性、监管需求验证以及基于LLM或智能体的RE支持的研究背景中。 ### II-A RE中的法规合规性 法规合规性在RE中日益重要。已有若干研究探讨了这一主题,包括一项关于使用自然语言处理(NLP)实现RE中通用数据保护条例(GDPR)自动合规的系统性映射研究[1 (https://arxiv.org/html/2607.21608#bib.bib12)]。该研究发现,GDPR、NLP和RE的交集在很大程度上仍未被探索,只有一项主要研究直接结合了这三个方面。这表明,即使对于GDPR这样成熟且广泛适用的法规,RE层面的支持和合规的实证理解仍然有限。鉴于欧盟人工智能法案为软件密集型系统引入了同样深远的义务,我们可以预期在RE层面存在类似甚至更显著的差距,而我们的研究正着手解决这一问题。 另一项研究系统地映射了针对软件密集型产品和服务的法规合规性的RE研究[12 (https://arxiv.org/html/2607.21608#bib.bib13)]。该研究分类了RE相关的挑战,并提出了跨法规领域和利益相关者的原则和实践,指出了挑战与实践之间的缺失联系、薄弱的验证以及较低的行业参与度。结合关注GDPR的工作,这表明现有研究尚未提供扎实的、基于实证的理解,说明组织及RE实践如何应对具体的监管体制。 最近,一项研究基于对23个组织的访谈,分析了欧盟人工智能法案下的欧洲AI标准和标准化挑战[11 (https://arxiv.org/html/2607.21608#bib.bib4)]。该研究将紧张的实施时间表、高成本、双重监管以及标准化委员会参与不均确定为关键障碍,尤其对初创企业和中小企业而言。虽然该研究强调了组织和生态系统层面AI法案合规的艰巨性,但并未明确涉及RE层面的流程或制品。我们的工作通过实证描述RE内部及相关领域与AI法案相关的准备度、挑战和利益相关者视角,从而填补了这一空白,将先前关注GDPR和合规性的研究扩展到了AI监管的具体语境。 ### II-B 监管需求的合规验证与确认 已有若干研究关注监管需求的验证与确认,特别是针对GDPR。一项研究报告了使用UML和OCL构建可机器分析、基于模型的GDPR表示,以实现自动化合规检查[17 (https://arxiv.org/html/2607.21608#bib.bib14)]。另一项研究介绍了GuideMe,一个六步方法,用于将GDPR义务转化为可实施的解决方案需求[3 (https://arxiv.org/html/2607.21608#bib.bib15)]。虽然GuideMe提供了比通用检查表更具操作性的指导,但作者强调其追溯回法律来源的能力有限,并且缺乏超越需求质量检查的持续、自动化保证。 关于欧盟人工智能法案的合规验证,早期工作也在涌现。一项研究提出了一种通过利用产品质量模型来解释高风险(包括安全关键)AI系统的AI法案要求的方法[10 (https://arxiv.org/html/2607.21608#bib.bib5)]。该研究在汽车供应链用例上展示了该方法,将法律要求映射到质量特性和评估步骤。虽然这在系统和产品质量层面提供了有价值的指导,但并未聚焦于RE流程或持续的、基于证据的验证工作流程。与这些基于模型和流程的方法不同,我们的工作探索了从业者在RE层面使用基于LLM的智能体闭环验证法律义务(如欧盟人工智能法案)时的需求和信任条件。 ### II-C 需求验证、可追溯性、质量保证 越来越多的研究关注法律和安全关键背景下的需求验证、可追溯性和质量保证。一项研究提出了一种表达非功能性需求(安全性、时序、硬件、性能)并确保其在汽车安全关键系统中得到验证和可追溯性的方法[14 (https://arxiv.org/html/2607.21608#bib.bib3)]。另一项研究比较了基于分类和基于LLM提示的法律需求可追溯性方法,表明专门的基于LLM的方法显著优于通用基线,但在召回率和F2分数方面仍有改进空间[5 (https://arxiv.org/html/2607.21608#bib.bib16)]。我们的研究通过考察从业者当前在AI法案相关义务方面的验证实践和负担,并推导出闭环、基于证据的验证方法的最低要求,对此类工作进行了补充。 总之,我们的研究为RE中的法规合规性、合规验证与确认、需求验证、可追溯性、质量保证以及基于LLM和智能体辅助的RE等现有研究做出了贡献。通过探索从业者在RE层面使用基于LLM的智能体闭环验证法律义务(如欧盟人工智能法案)时的需求和信任条件,我们为在受监管环境中使用AI和基于智能体技术的挑战与机遇提供了独特视角。我们的发现对开发面向AI法案就绪的闭环(AACL)验证工具有启示意义,并突显了在该领域进行进一步研究的必要性。 ## III 方法 本节描述我们的混合方法研究设计,包括访谈研究、调查工具和数据分析流程。 ### III-A 研究方法 随着欧盟人工智能法案生效以及AI系统面临日益严格的监管,了解组织的准备程度变得重要。特别是,我们询问他们如何将义务整合到需求工程(RE)中,
相似文章
从法律文本到AI特定风险源:EU AI Act高风险要求的系统分析
本文对EU AI Act的高风险要求进行系统分析,推导出AI特定风险源列表,以桥接法律义务与AI风险管理实践。
面向欧盟解释权的可解释人工智能:法律-XAI转化差距的系统综述
针对欧盟解释权背景下的可解释人工智能(XAI)研究进行系统综述,分析GDPR与《人工智能法案》中法律要求与技术实施之间的差距。
我们一直在分析人们如何在法律与合规任务中使用LLM(GDPR、AI法案等)。
对LLM在法律与合规任务中使用的分析显示,模型常常生成自信但无法验证的引用,引发了对AI输出可靠法律依据的质疑。
欧盟AI法案合规:如何将其融入产品开发
文章讨论了企业如何从设计阶段就将欧盟AI法案合规要求融入产品开发,强调透明度、防护机制和人类监督是关键架构变化。
哪些变化重要?通过相关性敏感评估和求解器推理实现可信赖的法律AI
本文介绍了一套用于法律AI的相关性敏感评估套件,表明LLM对法律无关的扰动过于敏感,并提出LexGuard,一个基于形式推理的对抗性多代理框架,以提高法律推理的可靠性。