为什么软件行业需要大量监管
摘要
文章认为,软件工程在安全关键系统中扮演重要角色,可能导致致命后果,因此需要像结构工程一样接受更严格的监管和问责。
暂无内容
查看缓存全文
缓存时间: 2026/09/14 11:46
# 为何软件行业亟需严格监管
来源:https://petewarden.com/2026/09/10/why-the-software-industry-needs-a-lot-of-regulation/
[](https://petewarden.com/wp-content/uploads/2026/09/chatgpt-image-sep-10-2026-03_00_14-pm.png)结构工程师会在通过审核的图纸上加盖实体印章,若建筑因设计问题坍塌,他们需承担直接且个人的法律责任。而软件工程师部署的代码可能导致数百人(https://en.wikipedia.org/wiki/Lion_Air_Flight_610)丧生(https://en.wikipedia.org/wiki/Ethiopian_Airlines_Flight_302),却几乎无需承担同等程度的问责。我认为这既不合理,也难以持续。
常言道“法规由血写成”——直到1928年圣弗朗西斯大坝(https://en.wikipedia.org/wiki/St._Francis_Dam)溃坝致约400人遇难后,加州才确立土木工程师的执业许可制度。软件设计缺陷已造成更惨重的伤亡,而未来科技发展或将使我们的工作变得更具致命性。当前俄乌冲突已导致自主无人机需通过软件决策击杀目标,显然代码在未来战争中将扮演关键角色。同时,人工智能模型正逐渐成为几乎所有行业安全关键系统的核心组件。尽管我对关于AI觉醒的末日预言(https://medium.com/@dominic.timothy/the-rapture-of-the-nerds-on-the-delirium-of-transhumanism-7f7736ce6784)持怀疑态度,但当灾难发生时,受害者不会关心祸首是恶意的“天网”(Skynet)还是无能的工程团队。
既然已有如此多的血泪教训,并且未来风险仍在加剧,为何软件工程至今能逃脱监管?以下是主要障碍:
- 编写代码比建造大坝容易得多。据估计美国有约200万软件工程师,而土木工程师仅20万左右,且许多程序员通过自学成才,未受过正规培训。对软件工程从业者设置准入门槛难以实现。
- 软件没有实体位置。桥梁固定于某地,监管机构可轻松实地监督。代码和模型能在全球任意角落创建并同步部署,各国不仅难以明确管辖权,更无从知晓境内部署了何种软件。
- 软件工程是高度协作与迭代的过程。系统设计随用户需求认知深化及目标优化而持续演进。摩天大楼在施工前即确定设计方案,且变更频率低、幅度小,可在不拖慢进度的前提下审核。将土木工程流程直接套用至软件行业不具可行性,我们缺乏现成模板可循。
- 即便在大型科技公司,工程师也无权做出关键安全决策。若高管执意推出存在致命缺陷的自动驾驶软件,可直接否决任何反对意见。即使工程师坚守原则辞职,管理层也能轻易招人替代,各方均无需承担后果。
- 许多软件项目缺乏明确的单一责任主体。开源框架可能有评审团队,商业代码库则历经多人之手。这种权责分散的结构导致出事时难以确定责任人。
- 本行业文化崇尚个人主义。我们推崇“快速行动、打破常规”的准则,硅谷凭借此理念成功打造的软件公司已主导全球,其成效有目共睹。长期以来,我们受益于“弱势挑战者”的形象定位,社会也普遍宽容科技发展带来的负面影响。
这一切是否意味着任何监管都不切实际?我坚信长远来看,我们终将为自身工作负责。当前唯一的问题是:我们是主动开启变革,还是错失良机而被动接受外部制定的规则。从跨党派对数据中心的反对声中可见,科技公司已逐渐失去公众的纵容。当昔日的浪漫神话失去光环,我们将像其他行业一样受到监管。
我相信我们有机会构建既能降低风险又不扼杀创新的框架,但时机稍纵即逝。以下是我提出的具体建议:
- 美国多数计算机科学学位甚至未设置必修伦理课程,更遑论强制遵循伦理守则(https://www.acm.org/code-of-ethics)。虽然“为善用技”的承诺难以强制执行,但至少若将其设为毕业必修,将无人能以“未被告知责任”为由推诿。
- 我们应主动建立公认的专业认证体系,无需等待外部施压。该体系无需强制推行,仅作为卓越能力的标志加以推广,就能对高级技术岗位产生强大的软实力影响。可考虑直接依托ACM等现有成熟机构开展。
- 与其试图对整个软件行业全面立法,不如先推动医疗、交通等已有严格监管的领域,试点我们期望的监管模式。
- 应建立行业规范,要求软件项目必须设立单一明确负责人(通常由技术主管担任),该负责人有权否决影响安全的决策。苹果公司的实践证明此模式有效:无论任务多微小,皆设有直接责任人(DRI)(https://handbook.gitlab.com/handbook/people-group/directly-responsible-individuals/)。虽然无法阻止高管撤换负责人,但可通过制度设计确保问责。例如,若负责工程师能依据广受认可的伦理准则记录异议,将使未来针对公司的诉讼更可能胜诉。尽管诉讼监管非我首选,但这确实是美国的运作方式。
- 航空业设有NASA管理的航空安全报告系统(ASRS)(https://asrs.arc.nasa.gov/),通过匿名举报机制收集数据,识别危险模式与趋势。为软件业建立类似匿名举报体系将极具价值,尤其若能提供吹哨人保护,便可主动基于数据制定安全准则。
- 软件虽具全球化属性,但营收依赖本地市场。许多重视安全的大型机构在软件上投入巨额资金。若它们对采购产品提出质量标准要求,众多供应商将随之调整。这需要明确的政治推动,因为许多最大采购方属于政府部门。
我不确定这是否是最佳路径,但深知若我们不主动提出方案,不久后就将受制于业外人士制定的规则。我聚焦安全这一最显著风险,但软件与人工智能的影响实则渗透各领域。例如社交媒体已展现出巨大的政治影响力。若Meta决定压制反ICE(移民与海关执法局)信息,我们需要明确参与相关系统工作的工程师应遵循的行为准则。
我对前进道路自有见解,但这些想法很可能不完善,或至少有极大改进空间。监管必须由更广泛的社群共同推动,为此我近期参与发起了“原则科技联盟”(Alliance for Principled Tech)(https://principled.tech/),汇聚了相信技术可服务于公共利益、并愿为此努力的科技从业者——包括工程师、创始人、设计师、高管、投资者。若你深有同感,欢迎加入。
我们熟知系统如何构建,也明白哪些架构选择悄然决定社会发展的方向。当务之急是我们需团结一致,确立我们希望建立的规则,明确我们愿意坚守的价值准则。
相似文章
编程无法被监管:欧盟AI法案如何可能扼杀软件
这篇评论文章认为,欧盟AI法案对算法的广泛监管可能对软件开发产生严重的意外后果,甚至可能将常见的编程实践定为刑事犯罪。
软件工程永远不会消亡
认为软件工程始终是必要的,因为需要人类问责来确保AI构建安全且正确的系统。
论问责制
一篇关于软件工程和大型语言模型开发中缺乏问责制的反思文章,源自ICST 2024的一个主旨演讲,该演讲呼吁应像其他工程领域一样承担责任。
软件工程的核心在于管理复杂性
本文认为,软件工程主要通过架构决策和权衡来管理复杂性,人工智能在代码生成方面很有效,但不擅长处理这些更高层次的方面。它强调了构建软件涉及关于约束、成本和演化的关键选择,而不仅仅是语法。
软件工程基础更为重要
本文强调,在人工智能和智能工具时代,软件工程基础仍然至关重要,突出了大型语言模型的推理局限性,以及对可维护、良好设计的软件的需求。