“算法单一文化”的影响取决于细节

MIT News — Artificial Intelligence 2026/09/29 04:00 论文

摘要

MIT研究者认为，AI中的算法单一文化可能并不总是有害的；其负面影响取决于细节，如领域和算法准确性，而集成方法可以缓解系统性排斥等问题。

AI工具在某些场景中正日益取代人类判断。例如，简历筛选算法常用于招聘，可能提高决策效率和一致性。但一些学者已<a href="https://www.pnas.org/doi/10.1073/pnas.2018340118" target="_blank">提出担忧</a>，认为自动化系统的采用最终可能导致一个特定行业中的所有决策都由同一个算法做出。他们担心所谓的算法单一文化可能带来负面后果。例如，在招聘中，人们认为算法单一文化可能导致系统性排斥——即一个求职者被一家公司的算法拒绝后，很可能也会被所有其他公司的算法拒绝。然而，MIT研究者现在认为，算法单一文化可能并不像一些科学家所暗示的那样糟糕。他们系统性地评估了针对算法单一文化的主要反对意见，包括系统性排斥，并得出结论：这一论点以及许多其他论点要么不成立，要么并非对所有形式的单一文化具有决定性意义。相反，他们从数学上证明，单一文化倾向于创建信息回声室，阻碍探索。在招聘中，这可能使最佳候选人获得工作的可能性降低——然而，研究者表明，将各种招聘算法打包成一个“集成”可以克服这一限制。这有时可以使单一文化的性能与使用不同算法的多元文化相媲美，甚至更优。“算法单一文化趋势是一个现实场景，也是AI使用带来的一个非常重要的议题，但抽象地讨论单一文化是否是坏事很难。它取决于细节，比如我们谈论的领域和算法本身的准确性，”研究合著者Brian Hedden说道，他是MIT语言学与哲学系教授，并在MIT施瓦茨曼计算学院与电气工程与计算机科学系共享职位，同时也是信息与决策系统实验室的主要研究者。Hedden与合著者Manish Raghavan共同撰写了论文，Raghavan是MIT斯隆管理学院的Drew Houston（2005）职业发展教授，同时也在电气工程与计算机科学系任职，并且是信息与决策系统实验室的主要研究者。该研究<a href="https://onlinelibrary.wiley.com/doi/10.1111/phpe.70018" target="_blank">发表在《哲学视角》上</a>。走向单一文化算法单一文化，即在一个特定领域内所有决策都使用同一算法做出，并非新现象。例如，贷款决策曾经由个别银行的独立银行家做出，但现在所有银行家都使用基于借款人标准化信用评分的相同信息，这些评分源自Fair Isaac Corporation (FICO) 算法。同样，许多财富500强公司常用少数几种简历筛选算法。Raghavan说：“随着越来越多的人使用AI和算法获取信息并做出决策，这种相关性发生的载体也更多。”为了更好地理解这个问题，他和Hedden联手系统性评估算法单一文化的利弊。他们聚焦于招聘领域，但其方法可能适用于其他领域，如贷款。（他们指出，其他领域，如生成式AI内容创建或AI指导的科学研究，可能运作方式不同，其中一些领域的单一文化可能更具问题性。）研究者首先探讨了对算法单一文化的一个常见反对意见：依赖相同算法会系统性地将某些人排除在机会之外。这在招聘中可能发生，因为如果一家公司筛选掉个人简历，该申请者很可能在每家公司都会遭遇同样的坏运气。但在使用一系列模型捕获多种情况系统性评估这一论点后，研究者认为这并不令人信服，因为雇用总人数不受公司使用相同算法这一事实的影响。相反，算法单一文化可能提高求职者的议价能力。Raghavan说：“所有职位都会被填补，相同数量的人拥有工作，但公司正在争夺同一池求职者，这实际上推高了工资。”他们还探讨了与代理相关的反对意见。例如，如果求职者申请工作，其简历被转发到所有使用该招聘算法的公司，求职者就没有机会调整简历以提高成功率。Hedden说：“这似乎是对糟糕形式的单一文化的一个合理反对。但如果你有一个可以修改简历并重新提交材料的单一文化，那么这一论点就不成立。”另一方面，单一文化可能使个人能够操纵系统。例如，如果以特定格式提交简历能带来更好结果，求职者可以简单地重新格式化简历以提高机会。Hedden说：“但使用一个算法是否比不同公司使用多个算法更能激励这种操纵，这并不明显。在后一种情况下，你可能只针对几家公司的算法并尝试操纵它们，为自己在几个雇主那里争取一点优势。”群体智慧他们还考虑了一个较少探讨的反对意见：单一文化可能增加信息的同质化。Hedden解释说，基于社会心理学的“群体智慧”理论，多样化的独立决策者群体可以胜过单个人。在招聘中，这意味着拥有多样化招聘算法的公司可以带来更高质量的新员工池。算法单一文化也可能导致具有相同特征和资历的求职者每次都被每家公司雇用。这可能阻止公司发现可能更好的替代候选人。Raghavan说：“单一文化可能抑制整体探索量。目前尚不清楚这是否是坏事，但当我们考虑为科学、艺术或写作等应用设计AI时，这绝对是一个担忧。”他补充说，可以通过在单一文化平台中引入随机性来缓解这一问题，这能激发更高水平的探索。此外，单一文化的性能取决于算法。如果一个算法比不同公司使用的多个算法准确得多，单一文化可能是更好的系统。提升性能的一种方法可能是将多家公司的招聘算法打包成一个“集成算法”，基于平均值为每个求职者分配分数。通过对不同招聘情况进行一系列模拟，研究者证实这种“集成算法”有时可能优于使用多个算法。然而，Hedden表示，这种算法“集成”在实践中的可行性仍有待探索。Raghavan说：“关于算法单一文化的利弊，许多答案将是情境性的。即使从研究角度来看，仍然有很多工作要做，以确定如何从经验角度处理这些担忧。”最终，研究者希望这项工作能激发更多关于长期...”

查看原文

查看缓存全文

缓存时间: 2026/09/29 14:49

# “算法单一化”的影响取决于具体细节来源：https://news.mit.edu/2026/algorithmic-monoculture-effects-depend-on-details-0929 人工智能工具正在某些领域日益取代人类的判断。例如，简历筛选算法常用于招聘，可能提高决策的效率和一致性。但一些学者提出担忧（https://www.pnas.org/doi/10.1073/pnas.2018340118），认为自动化系统的普及最终可能导致某个行业所有决策都依赖同一种算法。他们担心这种所谓的“算法单一化”可能带来负面后果。以招聘为例，其逻辑是：算法单一化可能导致系统性排斥——即被某家公司算法拒绝的求职者，很可能也会被其他所有公司的算法拒绝。然而，麻省理工学院的研究人员现在认为，算法单一化未必总如某些科学家所言那般糟糕。他们系统性评估了针对算法单一化的主要反对意见（包括系统性排斥），并得出结论：这些论点要么不成立，要么并非对所有单一化形式都具有决定性反驳力。相反，他们通过数学证明指出，单一化容易形成信息回声室，从而阻碍探索性。在招聘场景中，这可能导致最佳候选人获得工作的几率下降。不过研究人员也指出，将多种招聘算法整合为“集成算法”，可以克服这一局限。这有时甚至能使单一化表现得与多元文化（即不同公司使用不同算法）同样出色，甚至更优。 “算法单一化的趋势是AI应用带来的现实且至关重要的问题，但抽象地评判单一化是好是坏并不准确。这取决于具体细节，例如我们讨论的领域以及算法本身的准确性，”研究合著者、语言学与哲学系教授Brian Hedden表示。他在麻省理工学院施瓦茨曼计算学院与电气工程与计算机科学系共享职位，同时也是信息与决策系统实验室的主要研究员。论文另一位合著者Manish Raghavan现任麻省理工斯隆管理学院Drew Houston（2005）职业发展教授及电气工程与计算机科学系教授，同为信息与决策系统实验室主要研究员。该研究发表于《哲学透视》(https://onlinelibrary.wiley.com/doi/10.1111/phpe.70018)*。 **迈向单一化的趋势** 算法单一化——即特定领域所有决策均采用相同算法——并非新现象。例如，贷款决策曾由各家银行独立进行，但现在所有银行都基于借款人标准化的信用评分（源自Fair Isaac公司算法）使用相同信息进行判断。同样，少数几种简历筛选算法也被众多财富500强公司普遍使用。 “令人担忧的是，随着越来越多人使用AI和算法获取信息、制定决策，这种相关性发生的载体也在增加，”Raghavan指出。为深入理解该问题，他与Hedden合作系统评估了算法单一化的前景与风险。研究聚焦招聘领域，但其方法论可应用于贷款等其他领域。（他们指出，生成式AI内容创作或AI指导的科学研究等其他领域可能运作方式不同，且这些领域的单一化可能带来更大问题。）研究人员首先探讨了常见的反对观点：依赖相同算法会系统性地将某些人排除在机会之外。在招聘中可能出现这种情况：若一家公司筛选掉某份简历，该求职者很可能在其他公司也遭遇同样命运。但通过建立一系列模型系统评估该论点后，研究人员认为其缺乏说服力，因为企业采用相同算法并不影响最终雇用总人数。相反，算法单一化可能提升求职者的议价能力。 “所有职位都会被填补，雇用人数不变，但企业需要竞争同一批候选人，这实际上会推高薪资水平，”Raghavan解释道。他们还探讨了与自主性相关的反对意见。例如，若求职者投递简历后被自动转发给所有使用该招聘算法的企业，其将失去调整简历以提高机会的可能性。 “这看似是针对不良单一化的合理质疑。但如果是允许修改简历并重新提交的单一化模式，该论点就不成立了，”Hedden指出。另一方面，单一化也可能助长钻空子行为。例如，若特定格式简历能带来更好结果，求职者可能简单调整格式以提升机会。 “但这并不明显比各公司使用不同算法更易引发钻营行为，”Hedden表示，“在后一种情况下，求职者可能只需针对少数公司算法进行优化，以获取部分雇主的微弱优势。” **群体智慧** 他们还考虑了一个较少被探讨的反对观点：单一化可能加剧信息同质化。基于社会心理学的“群体智慧”理论，Hedden解释说，多元化的独立决策者群体往往能超越个体决策者。在招聘中，这意味着采用多元化招聘算法的企业能获得更高质量的新员工群体。算法单一化还可能导致具有相同特质和资历的求职者反复被各公司聘用。这或将阻碍企业发现更优的替代人选。 “单一化可能抑制整体的探索程度。尚不清楚这是坏事，但在为科学、艺术或写作等应用设计AI时，这确实值得担忧，”Raghavan说。他补充，通过在单一化平台中引入随机性，可能缓解该问题并促进更高水平的探索。此外，单一化的成效取决于算法本身。若单一算法比多家企业使用的多种算法准确得多，单一化可能是更优体系。提升性能的一种方法是将多家企业的招聘算法整合为“集成算法”，基于平均值为每位求职者评分。通过对不同招聘场景的系列模拟，研究人员证实这种“集成算法”有时能超越多算法并行的效果。但Hedden指出，这种算法“集成”在实际操作中的可行性仍有待探索。 “关于算法单一化前景与风险的许多答案将取决于具体情境。即使从研究角度看，仍需大量工作来探索如何以实证方法应对这些关切，”Raghavan总结。最终，研究人员期望本研究能激发更多关于算法单一化长期影响的研究，以及聚焦真实世界复杂性（如就业市场这类复杂系统）的深入研究。

“算法单一文化”的影响取决于细节

相似文章

单体AI是未来吗？

错误使用AI可能让你比从未使用AI时更糟

人工智能的正确发展路径是什么？

@ClementDelangue: 在我看来，权力集中在少数实验室是AI最大的风险。

人工智能未必需要消灭我们才能削弱我们

提交意见反馈