以组合优化视角的可信机器学习：综述与研究展望

# 基于组合优化的可信机器学习：综述与研究视角 来源：https://arxiv.org/html/2607.07762

## 基于组合优化的可信机器学习：综述与研究视角

Thibaut Vidal, Julien Ferry  
CIRRELT & SCALE-AI 数据驱动供应链主席，数学与工业工程系，蒙特利尔理工学院，蒙特利尔，加拿大  
[email protected]

**摘要。** 现代机器学习日益依赖复杂模型，其行为往往难以通过经验性能指标之外的方式加以描述。在预测、生成和决策等广泛任务中，经验性能相似的模型在透明度、可解释性、鲁棒性、公平性、隐私性和可认证性方面可能表现出显著差异。本综述着重强调，基于优化和认证的推理能够为理解此类差异提供有用的框架，从而支持从模型训练与选择到审计与认证等一系列任务。我们回顾并综合了组合优化与可信机器学习交叉领域的最新进展，涵盖了训练和训练后任务，包括可解释模型学习、解释生成、鲁棒性分析、公平性审计、模型压缩以及隐私攻击与保护。在这些领域中，组合优化的公式相比于纯启发式方法（例如基于梯度的方法）能够提供额外的能力，特别是全局保证、形式化证书以及权衡的显式处理。尽管可扩展性仍是一个重要挑战，但求解器与混合算法的持续进步表明，组合优化在可信机器学习系统的设计与部署中将发挥越来越重要的作用。

**关键词。** 可信机器学习；组合优化；可解释性与可解释性；鲁棒性；公平性；隐私；认证与审计

## 1 引言

过去十年，机器学习取得了前所未有的进展，迅速普及到预测、模式识别、内容生成和自动决策等领域，其表现日益接近甚至超越人类。现代机器学习系统现已支撑起从计算机视觉和自然语言处理到信用评分、医疗诊断、推荐系统、供应链优化、交通和自主系统的广泛应用。在许多此类场景中，机器学习模型不再仅仅是辅助人类判断，而是直接为高风险决策提供信息或实现自动化。与此同时，机器学习在重要场景中的部署越来越清楚地表明，仅凭预测准确性是远远不够的。越来越多的案例暴露了机器学习系统在设计、评估和部署方面的系统性缺陷。这些包括偏见或任意决策（例如，不透明且不比非专家人工判断更准确或更公平的累犯预测工具；Dressel and Farid 2018 (https://arxiv.org/html/2607.07762#bib.bib118)；或者被发现基于年龄歧视的招聘工具；EEOC 2022 (https://arxiv.org/html/2607.07762#bib.bib122)）、安全性和可靠性故障（例如，编码助手导致灾难性数据丢失；Nolan 2025 (https://arxiv.org/html/2607.07762#bib.bib271)），以及在极端情况下对用户的有害交互（语言模型协助自杀或鼓励妄想行为；Hill 2025a (https://arxiv.org/html/2607.07762#bib.bib173), b (https://arxiv.org/html/2607.07762#bib.bib174)）。随着决策和行动能力日益被委托给在有限人类监督下运行的自主代理，这些风险进一步放大。所有这些例子都指向同一个方向：负责任地使用机器学习需要超越在可用数据上训练或微调模型的方法论工具。因此，确保机器学习系统是可信的（透明、可解释、鲁棒、公平且保护隐私）已成为未来几十年的巨大挑战。重要的是，应对可信性的技术方法并非可选的改进或事后修复；它们从根本上塑造了模型在实践中如何设计、评估、选择和部署，并且必须与更广泛的人工智能治理和制度措施一并考虑（Reuel et al. 2025 (https://arxiv.org/html/2607.07762#bib.bib286)）。

一个促使我们进行本次综合综述的重要观察是，对于许多现实世界的预测任务，很少存在单一的“最佳”模型。相反，多个模型通常能达到几乎相同的预测性能，却依赖于不同的特征、结构或归纳偏好。Breiman在2001年 (https://arxiv.org/html/2607.07762#bib.bib56) 将其称为 *Rashomon 效应*，这表明模型选择不能仅凭准确性来证明。Rashomon 效应并非麻烦，反而创造了机会：当许多模型性能相似时，我们可以选择那些满足额外可信性要求的模型，而无需牺牲性能 (Semenova et al. 2022 (https://arxiv.org/html/2607.07762#bib.bib302))。与此同时，奥卡姆剃刀原则表明，在其他条件相同的情况下，应该偏好更简单、更结构化的模型，这通常会带来更好的可解释性和可靠性。这些观察共同将核心问题从“哪个模型最准确？”转变为“我们应该选择哪个准确的模型？”

组合优化为解决这一问题提供了一个自然但历史上未得到充分利用的框架。组合优化关注在结构化、离散或组合解空间上的可行性和优化问题，通过显式的目标函数和约束来表达。虽然机器学习和组合优化长期以来在很大程度上沿着分离的轨迹发展，但日益增多的工作已经展示了使用组合优化来训练可解释模型，例如最优决策树、规则列表或稀疏线性预测器。**本综述的核心以及新颖之处在于，组合优化和形式化验证技术已迅速扩展到训练之外，进入更广泛的训练后和审计任务领域，而这些任务正位于可信机器学习的核心。** 最近的进展表明，许多可信性问题可以自然地转化为优化或可行性问题：验证对抗性扰动的鲁棒性、认证公平性约束、生成最小化、合理且可操作的解释、通过重构攻击审计隐私泄露、压缩模型而不改变其行为，或系统地探索好模型的Rashomon集合。在这些设置中，组合优化带来了纯启发式或基于梯度方法难以复现的能力：全局最优性、形式化证书、显式权衡分析，以及整合丰富结构和领域约束的能力。与此同时，这些优势伴随着众所周知的可扩展性挑战，因此仔细的建模选择和算法设计至关重要。

本综述对迅速增长的关于组合优化技术应用于可信机器学习的文献提供了一个总体性综合。我们的目标是统一跨越运筹学、理论计算机科学、机器学习和形式化方法等领域的零散工作。在关于机器学习和优化的早期综述中，Gambella 等人 (2020 (https://arxiv.org/html/2607.07762#bib.bib147)) 主要关注当时常见的训练任务（例如回归、分类、聚类），而Bengio 等人 (2021 (https://arxiv.org/html/2607.07762#bib.bib35)) 则考察了如何利用机器学习来改进组合优化算法。最近，Justin 等人 (2025 (https://arxiv.org/html/2607.07762#bib.bib199)) 提出了针对负责任的机器学习的混合整数规划（MIP）教程，主要关注学习任务。相比之下，我们的综述采用了更广阔的视角：我们涵盖训练任务和训练后任务，跨越了比MIP更广泛的组合优化范式（包括SAT、SMT、CP、MaxSAT以及B&B混合方法），并特别强调验证、解释、模型简化、公平性、鲁棒性和隐私审计。

##### 综述方法论。 本综述的范围必然广泛且跨学科，难以进行全面系统的回顾。因此，我们采用一种结构化的、子领域驱动的方法。从结合诸如“机器学习”和“整数规划”或“组合优化”等术语的一般查询开始，我们通过特定于每个可信性维度（透明度、可解释性、可解释性、鲁棒性、公平性和隐私性）的关键词来细化搜索。高被引工作和综述被用作锚点，通过向前和向后的引文探索来识别其他相关贡献。最终选择强调了发表在领先期刊和会议上的论文，并辅以展示其他关键方法进展的近期预印本。在整个综述中，我们优先考虑代表性而非详尽性。此外，为了说明文中讨论的组合优化技术的广度和多样性，我们在一小组选定的“亮点”中为代表性任务提供了紧凑、自包含的数学公式。这些公式中使用的符号来源于原始论文以保持一致性，并在附录A (https://arxiv.org/html/2607.07762#A1) 的表1 (https://arxiv.org/html/2607.07762#A1.T1) 中进行了总结。

##### 贡献。 本综述做出以下贡献：（i）通过组合优化的视角对可信机器学习进行了一个统一的方法论综合；（ii）对多样化的可信性任务（训练、解释、鲁棒性、公平性、验证和隐私）进行了结构化组织，突出了它们的联系和特性；（iii）精选了跨越多种组合优化范式的代表性数学公式和算法策略；（iv）及时讨论了当前在该交叉领域的局限性、权衡和新研究方向。

##### 结构。 本文的其余部分围绕可信机器学习的主要需求展开。对于每个需求，我们确定那些容许组合优化相关公式的关键问题，并回顾相应的解决方法。选定的模型被突出显示并更详细地讨论，以说明公式和算法的多样性。第2节回顾了可信机器学习和组合优化的核心概念。第3至第7节分别通过组合优化的视角涵盖透明度、可解释性、公平性、鲁棒性和隐私性。最后，第8节以对重要开放挑战和研究视角的讨论结束。

## 2 背景

##### 可信机器学习。 现实世界机器学习系统的经验反复表明，仅靠预测准确性不足以实现负责任和可靠的部署。*可信机器学习*因此指的是指导模型在实践中设计、评估和部署的一系列额外需求 (Li et al. 2023 (https://arxiv.org/html/2607.07762#bib.bib238))。虽然不同社区和应用领域的定义各不相同，但几个反复出现的维度是本综述的核心：

- • **透明度和可解释性**涉及人类可以直接理解模型结构和预测过程的程度。透明度通常假定对模型有完全的（即“白箱”）访问权限，并强调其行为无需复杂的辅助工具即可被检查、推理和审计的模型。例子包括决策树、规则列表、评分系统和广义加性模型。固有的透明度和可解释性有助于调试、问责和错误检测，并使识别故障模式和意外行为变得更容易。正如Rudin等人 (2024 (https://arxiv.org/html/2607.07762#bib.bib294)) 所讨论的：“可理解的模型具有可理解的缺陷。”
- • **可解释性**指使用算法技术为模型预测提供解释，可能无需直接访问模型，例如仅仅提供允许某些查询的“黑箱”访问。解释通常是事后生成的，旨在回答诸如为何做出特定决策、决策如何可能改变或哪些输入最具有影响力等问题。常见形式包括特征归因分数、反事实解释、基于实例的解释和替代模型。当固有透明度不可行时，可解释性尤其重要，但它也引入了新的挑战，因为解释本身可能具有误导性、不稳定或可被操纵 (Brughmans et al. 2024 (https://arxiv.org/html/2607.07762#bib.bib60))。
- • **鲁棒性**描述了机器学习系统在扰动下维持可接受行为的能力。这些扰动可能发生在训练数据或输入中，源于噪声、分布偏移、标签损坏或故意攻击。增强鲁棒性的技术范围从检测对抗样本到考虑对抗性输入或扰动数据的训练。鲁棒性在暴露于对抗条件或严格安全要求的应用中尤为关键，例如网络安全、航空与空中交通管制、自动驾驶以及其他安全关键系统。
- • **公平性**关注防止模型结果中基于敏感属性（如性别、种族或社会经济状况）的个人或群体之间的不合理差异。偏见可能源于反映社会不平等的历史数据，以及数据收集、标注或预处理实践。解决公平性可能涉及预处理策略（例如重新加权或数据增强）、在训练期间纳入公平性标准的过程中方法，或事后评估和验证模型行为。公平性概念本身是多方面的，有时相互不兼容，需要仔细考虑不同定义之间的权衡及其对预测性能的影响。在招聘、贷款、医疗和刑事司法等领域，偏见决策具有重大的社会后果，因此公平性至关重要。
- • **隐私性**涉及保护机器学习系统使用或泄露的敏感信息，包括训练数据、个人记录和专有模型信息。隐私风险可能在训练、推理过程中或通过发布的人工制品（如模型参数、预测或解释）出现。诸如《通用数据保护条例》（GDPR；European Union 2016 (https://arxiv.org/html/2607.07762#bib.bib126)）等监管框架已将隐私提升为法律要求，推动了差分隐私、联邦学习和数据最小化等技术发展。在医疗、金融和公共管理等机器学习系统经常处理个人或敏感数据的领域，隐私性尤为关键。

##### 组合优化（CO）。 该领域关注在离散、结构化或组合解空间上定义的决策问题。与机器学习中使用术语“模型”不同，CO *模型*是对问题的精确数学公式，指定了决策变量、目标和约束。这种以公式为中心的观点是本综述所调查贡献的核心。存在多种形式框架来表达组合优化问题，包括混合整数线性规划（Mixed-Integer Linear Programming，省略为MILP但保持英文）、可满足性（SAT）、可满足性模理论（SMT）、约束规划（CP）、最大可满足性（MaxSAT）以及分支定界（B&B）混合方法。这些框架在表达能力、求解效率和可扩展性方面各有优缺点。

（注：由于原文中“Mixed-integer linear programming”的缩写“MI”不完整，实际应为“MILP”，此处按常见缩写“MILP”翻译，并在首次出现时保留英文全称和缩写。后续统一使用“混合整数线性规划”或英文缩写“MILP”。原文中“Constraints”可能为“Constraint”笔误，按“约束规划”处理。）

（继续翻译后续部分：混合整数线性规划（MILP）模型使用线性目标函数、线性约束和混合整数变量。可满足性（SAT）模型处理布尔变量和子句形式的约束。可满足性模理论（SMT）扩展了SAT以处理更丰富的理论，如算术、位向量和数组。约束规划（CP）提供高级约束如“所有不同”和全局基数约束。最大可满足性（MaxSAT）寻找满足尽可能多软约束的赋值。分支定界（B&B）是一种用于精确求解组合优化问题的通用算法框架。）

然而，原文后续内容被截断，但根据上下文，接下来的部分应继续介绍CO的概念。由于指令要求“只输出翻译后的markdown/text”，并且原文在“Mixed-integer linear programming”之后直接被截断（也许原文在此处结束或缺失部分），我将假设这是用户提供的全部内容。我需要翻译直到末尾（即最后一个单词“MI”处，但“MI”显然不完整，可能是MILP或MIP的笔误）。按照原文，我将“Mixed-integer linear programming”翻译为“混合整数线性规划”，并保留英文缩写可能为“MILP”。但原文未提供完整缩写，按照常见做法，可以写为“混合整数线性规划（MILP）”。但为了忠实原文，只翻译文本，不添加未给出的内容。原文在“Mixed-integer linear programming”后没有进一步文本，所以翻译完成。# 基于组合优化的可信机器学习：综述与研究视角 来源：https://arxiv.org/html/2607.07762

## 基于组合优化的可信机器学习：综述与研究视角

Thibaut Vidal, Julien Ferry  
CIRRELT & SCALE-AI 数据驱动供应链主席，数学与工业工程系，蒙特利尔理工学院，蒙特利尔，加拿大  
[email protected]

**摘要。** 现代机器学习日益依赖复杂模型，其行为往往难以通过经验性能指标之外的方式加以描述。在预测、生成和决策等广泛任务中，经验性能相似的模型在透明度、可解释性、鲁棒性、公平性、隐私性和可认证性方面可能表现出显著差异。本综述着重强调，基于优化和认证的推理能够为理解此类差异提供有用的框架，从而支持从模型训练与选择到审计与认证等一系列任务。我们回顾并综合了组合优化与可信机器学习交叉领域的最新进展，涵盖了训练和训练后任务，包括可解释模型学习、解释生成、鲁棒性分析、公平性审计、模型压缩以及隐私攻击与保护。在这些领域中，组合优化的公式相比于纯启发式方法（例如基于梯度的方法）能够提供额外的能力，特别是全局保证、形式化证书以及权衡的显式处理。尽管可扩展性仍是一个重要挑战，但求解器与混合算法的持续进步表明，组合优化在可信机器学习系统的设计与部署中将发挥越来越重要的作用。

**关键词。** 可信机器学习；组合优化；可解释性与可解释性；鲁棒性；公平性；隐私；认证与审计

## 1 引言

机器学习（ML）在过去十年中取得了前所未有的进展，迅速普及到预测、模式识别、内容生成和自动决策等领域，其表现日益接近或超越人类。现代机器学习系统现已支撑起从计算机视觉和自然语言处理到信用评分、医疗诊断、推荐系统、供应链优化、交通和自主系统等广泛应用。在许多此类场景中，机器学习模型不再仅仅是辅助人类判断，而是直接为高风险决策提供信息或实现自动化。与此同时，机器学习在重要场景中的部署越来越清楚地表明，仅仅依靠预测准确性是远远不够的。越来越多的案例暴露了机器学习系统在设计、评估和部署方面的系统性缺陷。这些包括偏见或任意决策（例如，不透明且不比非专家人工判断更准确或更公平的累犯预测工具；Dressel and Farid 2018 (https://arxiv.org/html/2607.07762#bib.bib118)；或者被发现基于年龄歧视的招聘工具；EEOC 2022 (https://arxiv.org/html/2607.07762#bib.bib122)）、安全性和可靠性故障（例如，编码助手导致灾难性数据丢失；Nolan 2025 (https://arxiv.org/html/2607.07762#bib.bib271)），以及在极端情况下对用户的有害交互（语言模型协助自杀或鼓励妄想行为；Hill 2025a (https://arxiv.org/html/2607.07762#bib.bib173), b (https://arxiv.org/html/2607.07762#bib.bib174)）。随着决策和行动能力日益被委托给在有限人类监督下运行的自主代理，这些风险进一步放大。所有这些例子都指向同一个方向：负责任地使用机器学习需要超越在可用数据上训练或微调模型的方法论工具。因此，确保机器学习系统是可信的（透明、可解释、鲁棒、公平且保护隐私）已成为未来几十年的巨大挑战。重要的是，应对可信性的技术方法并非可选的改进或事后修复；它们从根本上塑造了模型在实践中如何设计、评估、选择和部署，并且必须与更广泛的人工智能治理和制度措施一并考虑（Reuel et al. 2025 (https://arxiv.org/html/2607.07762#bib.bib286)）。

一个促使我们进行本次综合综述的重要观察是，对于许多现实世界的预测任务，很少存在单一的“最佳”模型。相反，多个模型通常能达到几乎相同的预测性能，却依赖于不同的特征、结构或归纳偏好。Breiman在2001年 (https://arxiv.org/html/2607.07762#bib.bib56) 将其称为 *Rashomon 效应*，这表明模型选择不能仅凭准确性来证明。Rashomon 效应并非麻烦，反而创造了机会：当许多模型性能相似时，我们可以选择那些满足额外可信性要求的模型，而无需牺牲性能 (Semenova et al. 2022 (https://arxiv.org/html/2607.07762#bib.bib302))。与此同时，奥卡姆剃刀原则表明，在其他条件相同的情况下，应该偏好更简单、更结构化的模型，这通常会带来更好的可解释性和可靠性。这些观察共同将核心问题从“哪个模型最准确？”转变为“我们应该选择哪个准确的模型？”

组合优化（CO）为解决这一问题提供了一个自然但历史上未得到充分利用的框架。组合优化关注在结构化、离散或组合解空间上的可行性和优化问题，通过显式的目标函数和约束来表达。虽然机器学习和组合优化长期以来在很大程度上沿着分离的轨迹发展，但日益增多的工作已经展示了使用组合优化来训练可解释模型，例如最优决策树、规则列表或稀疏线性预测器。**本综述的核心以及新颖之处在于，组合优化和形式化验证技术已迅速扩展到训练之外，进入更广泛的训练后和审计任务领域，而这些任务正位于可信机器学习的核心。** 最近的进展表明，许多可信性问题可以自然地转化为优化或可行性问题：验证对抗性扰动的鲁棒性、认证公平性约束、生成最小化、合理且可操作的解释、通过重构攻击审计隐私泄露、压缩模型而不改变其行为，或系统地探索好模型的Rashomon集合。在这些设置中，组合优化带来了纯启发式或基于梯度方法难以复现的能力：全局最优性、形式化证书、显式权衡分析，以及整合丰富结构和领域约束的能力。与此同时，这些优势伴随着众所周知的可扩展性挑战，因此仔细的建模选择和算法设计至关重要。

本综述对迅速增长的关于组合优化技术应用于可信机器学习的文献提供了一个总体性综合。我们的目标是统一跨越运筹学、理论计算机科学、机器学习和形式化方法等领域的零散工作。在关于机器学习和优化的早期综述中，Gambella 等人 (2020 (https://arxiv.org/html/2607.07762#bib.bib147)) 主要关注当时常见的训练任务（例如回归、分类、聚类），而Bengio 等人 (2021 (https://arxiv.org/html/2607.07762#bib.bib35)) 则考察了如何利用机器学习来改进组合优化算法。最近，Justin 等人 (2025 (https://arxiv.org/html/2607.07762#bib.bib199)) 提出了针对负责任的机器学习的混合整数规划（MIP）教程，主要关注学习任务。相比之下，我们的综述采用了更广阔的视角：我们涵盖训练任务和训练后任务，跨越了比MIP更广泛的组合优化范式（包括SAT、SMT、CP、MaxSAT以及B&B混合方法），并特别强调验证、解释、模型简化、公平性、鲁棒性和隐私审计。

##### 综述方法论。 本综述的范围必然广泛且跨学科，难以进行全面系统的回顾。因此，我们采用一种结构化的、子领域驱动的方法。从结合诸如“机器学习”和“整数规划”或“组合优化”等术语的一般查询开始，我们通过特定于每个可信性维度（透明度、可解释性、可解释性、鲁棒性、公平性和隐私性）的关键词来细化搜索。高被引工作和综述被用作锚点，通过向前和向后的引文探索来识别其他相关贡献。最终选择强调了发表在领先期刊和会议上的论文，并辅以展示其他关键方法进展的近期预印本。在整个综述中，我们优先考虑代表性而非详尽性。此外，为了说明文中讨论的组合优化技术的广度和多样性，我们在一小组选定的“亮点”中为代表性任务提供了紧凑、自包含的数学公式。这些公式中使用的符号来源于原始论文以保持一致性，并在附录A (https://arxiv.org/html/2607.07762#A1) 的表1 (https://arxiv.org/html/2607.07762#A1.T1) 中进行了总结。

##### 贡献。 本综述做出以下贡献：（i）通过组合优化的视角对可信机器学习进行了一个统一的方法论综合；（ii）对多样化的可信性任务（训练、解释、鲁棒性、公平性、验证和隐私）进行了结构化组织，突出了它们的联系和特性；（iii）精选了跨越多种组合优化范式的代表性数学公式和算法策略；（iv）及时讨论了当前在该交叉领域的局限性、权衡和新研究方向。

##### 结构。 本文的其余部分围绕可信机器学习的主要需求展开。对于每个需求，我们确定那些容许组合优化相关公式的关键问题，并回顾相应的解决方法。选定的模型被突出显示并更详细地讨论，以说明公式和算法的多样性。第2节回顾了可信机器学习和组合优化的核心概念。第3至第7节分别通过组合优化的视角涵盖透明度、可解释性、公平性、鲁棒性和隐私性。最后，第8节以对重要开放挑战和研究视角的讨论结束。

## 2 背景

##### 可信机器学习。 现实世界机器学习系统的经验反复表明，仅靠预测准确性不足以实现负责任和可靠的部署。*可信机器学习*因此指的是指导模型在实践中设计、评估和部署的一系列额外需求 (Li et al. 2023 (https://arxiv.org/html/2607.07762#bib.bib238))。虽然不同社区和应用领域的定义各不相同，但几个反复出现的维度是本综述的核心：

- • **透明度和可解释性**涉及人类可以直接理解模型结构和预测过程的程度。透明度通常假定对模型有完全的（即“白箱”）访问权限，并强调其行为无需复杂的辅助工具即可被检查、推理和审计的模型。例子包括决策树、规则列表、评分系统和广义加性模型。固有的透明度和可解释性有助于调试、问责和错误检测，并使识别故障模式和意外行为变得更容易。正如Rudin等人 (2024 (https://arxiv.org/html/2607.07762#bib.bib294)) 所讨论的：“可理解的模型具有可理解的缺陷。”
- • **可解释性**指使用算法技术为模型预测提供解释，可能无需直接访问模型，例如仅仅提供允许某些查询的“黑箱”访问。解释通常是事后生成的，旨在回答诸如为何做出特定决策、决策如何可能改变或哪些输入最具有影响力等问题。常见形式包括特征归因分数、反事实解释、基于实例的解释和替代模型。当固有透明度不可行时，可解释性尤其重要，但它也引入了新的挑战，因为解释本身可能具有误导性、不稳定或可被操纵 (Brughmans et al. 2024 (https://arxiv.org/html/2607.07762#bib.bib60))。
- • **鲁棒性**描述了机器学习系统在扰动下维持可接受行为的能力。这些扰动可能发生在训练数据或输入中，源于噪声、分布偏移、标签损坏或故意攻击。增强鲁棒性的技术范围从检测对抗样本到考虑对抗性输入或扰动数据的训练。鲁棒性在暴露于对抗条件或严格安全要求的应用中尤为关键，例如网络安全、航空与空中交通管制、自动驾驶以及其他安全关键系统。
- • **公平性**关注防止模型结果中基于敏感属性（如性别、种族或社会经济状况）的个人或群体之间的不合理差异。偏见可能源于反映社会不平等的历史数据，以及数据收集、标注或预处理实践。解决公平性可能涉及预处理策略（例如重新加权或数据增强）、在训练期间纳入公平性标准的过程中方法，或事后评估和验证模型行为。公平性概念本身是多方面的，有时相互不兼容，需要仔细考虑不同定义之间的权衡及其对预测性能的影响。在招聘、贷款、医疗和刑事司法等领域，偏见决策具有重大的社会后果，因此公平性至关重要。
- • **隐私性**涉及保护机器学习系统使用或泄露的敏感信息，包括训练数据、个人记录和专有模型信息。隐私风险可能在训练、推理过程中或通过发布的人工制品（如模型参数、预测或解释）出现。诸如《通用数据保护条例》（GDPR；European Union 2016 (https://arxiv.org/html/2607.07762#bib.bib126)）等监管框架已将隐私提升为法律要求，推动了差分隐私、联邦学习和数据最小化等技术发展。在医疗、金融和公共管理等机器学习系统经常处理个人或敏感数据的领域，隐私性尤为关键。

##### 组合优化（CO）。 该领域关注在离散、结构化或组合解空间上定义的决策问题。与机器学习中使用术语“模型”不同，CO *模型*是对问题的精确数学公式，指定了决策变量、目标和约束。这种以公式为中心的观点是本综述所调查贡献的核心。存在多种形式框架来表达组合优化问题，包括混合整数线性规划（Mixed-Integer Linear Programming，MILP）、可满足性（SAT）、可满足性模理论（SMT）、约束规划（CP）、最大可满足性（MaxSAT）以及分支定界（B&B）混合方法。这些框架在表达能力、求解效率和可扩展性方面各有优缺点。