AI的奇妙之处：我们将停止漏洞赏金计划

# AI 的奇妙之处：我们正在终止漏洞赏金计划 来源：https://turso.tech/blog/the-wonders-of-ai 近一年来，Turso 一直设有一个项目，为任何能够证明会导致数据损坏的漏洞提供 1000 美元奖励。今天，我们怀着无比沉重的心情，终止了这个项目。 原因很简单：每个人都被垃圾信息机器淹没了。在这方面，我们并不特殊。然而，一个为特定类型漏洞提供金钱奖励的项目，对垃圾信息制造者来说，实在是一个太过诱人的目标。连续数日，我们的维护人员几乎没有做其他事情，只是关闭那些声称在 Turso 中发现了导致数据损坏漏洞的垃圾 Pull Request。在这个许多开源项目正对贡献关闭大门的时候，我们想尽一切努力保持 Turso 的大门敞开。成为一个开放贡献的项目是我们的 DNA。Turso 就是这样诞生的。但不幸的是，金钱奖励使得这几乎不可能，因此它必须被取消。 我们公开并大声地分享这一点，是因为我们相信，在这个新时代，我们都必须找到新的方式来建立良好的治理，并且应该相互学习。这是我们对此对话的贡献。 ### # (https://turso.tech/blog/the-wonders-of-ai#why-did-we-start-this-program)我们为什么启动这个项目 我们启动这个项目，是因为我们正在重写 SQLite——已知是世界上最可靠的软件之一。社区对一个有着如此雄心的项目抱有很高的期望，我们投入了巨大的努力，以确保能够匹配甚至超越 SQLite 传奇般的可靠性。Turso 配备了一个原生的确定性模拟器、一系列模糊测试工具、一个基于 oracle 的针对 SQLite 的差异测试引擎、一个并发模拟器，除此之外，我们还在 Antithesis (https://antithesis.com/) 上进行了广泛的运行。 我们认真对待测试纪律。而我们也想传达我们的信心。另一方面，所有这些测试基础设施，归根结底也只是软件，并非完美。你可以编写世界上所有的模糊测试工具和模拟器，但它们只能捕捉到实际生成的组合中的漏洞。例如，如果你的模糊测试工具从未生成过索引，那么根据定义，你就不会发现任何与索引相关的漏洞，无论你对系统的其他部分施加了多大的压力。作为一个*真实*的例子，我们发现了一些逃逸了我们模拟器的漏洞，因为它们只会在大于 1GB 的数据库中出现 (https://turso.tech/blog/an-adventure-in-writing-compatible-systems)，而且因为我们对*每次运行*都激进地注入故障，数据库永远无法变得足够大来触发这些漏洞。 自动化测试的主要优点是，当一个漏洞逃逸了你的验证时，一旦你改进了测试生成器，整类漏洞就会消失。因此，我们将这个项目视为实现这两个目标的绝佳方式：它帮助我们建立了对*方法论*的信心，但同时，如果有人确实发现了我们的模拟器覆盖不好的领域，我们也会非常乐意为此付费！我们启动了该项目，提供 1000 美元奖励，用于奖励那些会导致数据损坏的漏洞，直到我们发布 Turso 1.0 版本。我们的计划是，一旦达到 1.0 版本，我们将逐步将奖励金额提高到可观的水平，并扩大我们奖励的问题范围。 ### # (https://turso.tech/blog/the-wonders-of-ai#and-before-the--singularity---this-worked-great)在“奇点”之前，这运作得很好 我们对这个项目感到非常高兴。我们总共奖励了 5 个人。所有获得奖励的人都*极其*特别。特别值得强调 Alperen (https://turso.tech/blog/faces-of-turso-alperen-keles) 的工作，他实际上是我们模拟器本身的核心贡献者之一（所以他了解几个可以改进的地方也就不足为奇了）。还有 Mikael (https://turso.tech/blog/faces-of-turso-mikael)，他以非常创造性的方式使用 LLM 来识别模拟器未能覆盖的地方（后来我们雇佣了 Mikael），以及 Pavan Nambi (https://x.com/glcst/status/2053865633641640041)，他将模拟器与形式化方法相结合，不仅发现了 Turso 中的漏洞，而且实际上通过他的方法在 SQLite 本身上发现了超过十个 (https://sqlite.org/forum/info/15d82885e26479529dca86d41742dbc061932efab6f63819fcf12ec444c02e33) 漏洞。 ### # (https://turso.tech/blog/the-wonders-of-ai#but-after-the--singularity---we-got-drowned)但在“奇点”之后，我们被淹没了 根据我们的经验，任何有能力发现关键问题的人，都是我们希望留在社区中的人。确实偶尔会有人试图提交糟糕的 PR 以期获得赏金，但这并不常见：要求必须扩展模拟器来演示漏洞（仅仅指出漏洞是不够的）有助于保持高标准，而且最重要的是，漏洞本身并没有那么多。 但是一夜之间，一支垃圾信息大军被释放了出来。仅仅指着一个 LLM 去针对 Turso 寻找漏洞，这个奖励变得太高了。而众所周知，如果你指示一个 LLM 去寻找漏洞并获取赏金，它会生成*某些*输出。至于这些输出是否有意义，则完全是另一回事。我想和大家分享其中的一些。 ### # (https://turso.tech/blog/the-wonders-of-ai#some-examples)一些例子 在这个 PR (https://github.com/tursodatabase/turso/pull/6257) 中，作者手动向数据库头部注入了垃圾字节，然后声称这破坏了数据库（废话！）。在我们的维护者指出“好吧，夏洛克，这还用说”之后，作者（或他的机器人）继续用你常见的 LLM 生成的冗长文本争论了相当长一段时间。 你可能觉得这难以置信，但它实际上还没有下面这个夸张：修改源代码以手动添加一个越界数组访问来破坏数据库 (https://github.com/tursodatabase/turso/issues/5508) 在这个另一个 PR (https://github.com/tursodatabase/turso/pull/4322) 中，充满了表格、绿色勾号和长破折号线，作者声称发现了一个允许执行任意 SQL 语句的关键漏洞。你想象一下？一个允许执行 SQL 语句的 SQL 数据库。我们怎么能从这恢复过来。 这另一件“杰作” (https://github.com/tursodatabase/turso/pull/6874) 在 Turso 上启用了并发写入——这是使我们有别于 SQLite 的特性之一——然后演示了 SQLite 无法打开该文件，直到日志模式被设置回 WAL，从而禁用了并发写入（这正是系统设计的运作方式）。 对于这另一个 (https://github.com/tursodatabase/turso/pull/6691#issuecomment-4389865826)，我真希望我能写一段好的描述，但我根本不知道他们想做什么。正如我们的维护者 Mikael（正是之前获奖的那位！）指出的，很明显这个人只是看到了奖励公告，开始垂涎欲滴，然后把垃圾信息机器对准了我们。 ### # (https://turso.tech/blog/the-wonders-of-ai#the-last-attempt)最后的尝试 在我们建立某种秩序的最后一次尝试中，我们设计并实施了一个担保系统。如果我们怀疑提交来自机器人，我们就自动关闭它。这在*一段*时间里运作得还不错，直到机器人开始不断打开 Issue，质疑我们关闭它们的 PR，并要求人工检查。它们看起来都一样： 我们也遇到很多情况，当我们关闭一个 PR 后，几秒钟内同一个或非常相似的 PR 就会由另一个不同的用户打开。 ### # (https://turso.tech/blog/the-wonders-of-ai#it-s-sad--but-here-we-are)这很可悲，但事实就是如此 当然，主要问题是，垃圾信息制造者可能只需要一分钟就能生成他们的提交。但我们需要花费数小时来阅读、理解并与之互动。而这些提交可以以近乎无限的速度生成。虽然可以设置自动化系统来把关，但由于涉及不可忽视的金钱价值，AI 不断争论、重新打开同一个 PR 等的动机实在是太大了。 我们非常重视我们的开源贡献者社区，并将继续加强我们的社区。但在这一点上，我们只是不认为任何形式的金钱激励能与一个开放的系统良好地配合。我们必须要么关闭系统，要么取消激励。目前，我们选择后者。