FOSS贡献的人类身份证明
摘要
Rodrigo Arias Mallo 提出使用 asciinema 录制作为对 Dillo 的 FOSS 贡献的人类作者身份证明,认为 LLM 难以令人信服地生成此类录制。
<p><a href="https://lobste.rs/s/emyyfu/human_proof_for_foss_contributions">评论</a></p>
查看缓存全文
缓存时间: 2026/05/25 23:13
# 开源项目的人类贡献证明
来源:https://dillo-browser.org/lab/human-proof/
*撰写于 2026\-05\-25,作者:Rodrigo Arias Mallo*
当我们收到初次贡献者的补丁时,有时仅凭代码很难判断对方是否使用了 LLM 来编写补丁。我们通常依赖人们如实陈述,因为补丁在注释和变量名等风格上与人类手写无异。
在 Dillo 中,我们只希望接受完全由人类撰写的贡献,但仅凭陌生人的诚信承诺似乎并不令人放心。因此,我希望找到一种更好的机制来区分 LLM 补丁和人类补丁。
我一直在尝试使用 asciinema (https://asciinema.org/) 来录制并回放 vim 中的编程过程。如果你没听说过它,它是一个小型的 CLI 程序,能将按键和终端输出录制到文件中,之后回放时可以完全还原原始画面,包括颜色和按键间隔。经过一些实验,我突然想到,它捕捉到了人类编写程序时的“本质”:各种错误、排查复杂 bug 时的迷路、拼写错误以及其他语法错误。因此,我认为它可以作为证明补丁由人类编写的一个候选方案。
## 使用 Asciinema 录制作为证明
使用 asciinema 这类工具有以下优势:用户只需开始和结束录制,额外成本几乎为零。此外,录制文件经过 gzip 等压缩后体积相当小,因为文件只包含文本。相比之下,录制桌面则需要付出更多努力——需要在后台保持一个笨重的进程运行,而且会产生更大的文件。
另一方面,它也存在一些不足:如果用户使用图形编辑器(如 VScode 或类似工具)编程,则此方法无效。另外,我们会看到用户可能不愿与他人分享的部分编程过程。对于这种情况,我的建议是通过私人邮件发送录制文件,只与审阅者共享,不公开。
尽管存在这些不足,假设用户使用终端编辑器,我还是好奇这种方法是否可行。
## 非对称复杂性
就像 LLM 可以生成补丁一样,它们也可以生成 asciinema 录制文件,从而让贡献者假装自己完成了编辑。也许令人惊讶的是,根据我的观察,这对 LLM 来说并非易事。开发者犯错并思考编辑文件全过程的录制语料库,远不如用于训练 LLM 的 FOSS 程序和补丁语料库庞大。在我非常简单的测试中,我无法生成一个哪怕有点接近人类预期的 asciinema 会话,更不用说一个具有漂亮编辑器主题并编辑现有 Dillo 源文件的人类了。
或许这种方法在一段时间内有效,但 LLM 可能会获得动力去提升模仿人类行为的能力。不过至少目前,它可能足以保护我们的贡献免受 LLM 入侵。
## 结语
我希望进一步测试这个理论,或许通过运行一些实验。事实上,本文的整个编辑过程都已用 asciinema 录制,你可以在此处下载 (https://dillo-browser.org/lab/human-proof/proof.cast.gz),解压后用 `asciinema play --speed 16 proof.cast` 回放(可根据需要调整速度)。
理想的解决方案是我们能够信任贡献者不会对其提交撒谎,但 FOSS 项目经常收到一次性补丁,因此这种方法可以减少对用户的信任需求。
一个附带好处是,观察他人编程的方式也是向他人学习的好方法——当然,前提是对方愿意公开分享录制文件。分享编辑会话的一个潜在问题是 LLM 可能会利用它们来模仿你的编程风格,因此这是一把双刃剑。
相似文章
READER:基于提取表示的鲁棒证据驱动作者身份解码
介绍READER,一种用于动态黑盒LLM溯源的轻量级框架,它利用冻结的代理LLM从回复中提取作者身份证据,并在多次查询中进行贝叶斯证据累积,在Agent500数据集上实现了高精度。
社交敌意
Justine Tunney 讲述了她在开源项目中与匿名贡献者的经历,包括一次抄袭指控以及随后的健康问题,强调了像 llama.cpp 和 llamafile 这样的项目中网络毒性的挑战。
修正FOLIO和MALLS:经过验证的标注与聚焦人工重标的LLM辅助框架
本文对自然语言到一阶逻辑数据集FOLIO和MALLS进行了系统的人工审查,分别发现39%和36%的形式化错误。它发布了修正后的标准答案和一个辅助人工重标的LLM框架,该框架将审查工作量减少到少于24%的实例即可达到90%的准确率。
引用 Andrew Kelley
Zig 语言的创造者 Andrew Kelley 认为,通过独特的错误和一种“数字气味”,可以检测出由大语言模型(LLM)辅助的贡献,他将其比作在非吸烟房屋中吸烟。
描述人类与AI协作进行证明形式化的初期工作流程
来自牛津、剑桥、MIT、CMU等机构的研究人员开展了一项混合方法研究,考察人们如何将AI工具融入数学证明形式化工作流程。研究发现,借助AI辅助时,参与者的形式化准确率普遍更高,同时他们倾向于在证明发现过程中保持人类对高层决策的主导权。