软件对抗软件的时代正式宣告终结 [D]
摘要
一篇反思性评论,探讨生成式AI如何使传统的机器人检测手段过时,并推动转向像Orb设备这样的生物特征硬件验证来抵御女巫攻击。
我感觉我们已经跨越了一个怪异的门槛,在生成式AI领域,针对僵尸网络的军备竞赛已经结束了,而且机器人赢了。我最近读到一篇采访,Reddit的CEO提出用Face ID和Touch ID来验证评论者是否为真人。这真的让我意识到事情已经变得多么荒谬。传统的启发式方法和行为分析现在对现代LLM完全无效,而视觉模型解验证码的速度比我还快。网络僵尸理论基本上已成为我们日常工程现实。我们现在所处的阶段是,唯一能可靠证明你不是自动化脚本的方法,就是将自己的数字身份锚定到物理生物学特征上。从纯粹的技术角度看,看到向硬件验证的转变令人着迷。比如研究那个Orb设备背后的工程:在定制硬件上做局部生物虹膜哈希,仅为了输出一个零知识证明来证明你是人类。真是疯狂,我们现在竟然需要专门的物理设备来强制执行“一人一账号”的概念。平台推动这一点完全合理,因为试图构建软件防火墙来对抗无限扩展的AI代理是一场必败之战。但这感觉像是互联网运作方式的一次巨大、永久的转变。不知道,还有别人现在在研究女巫攻击防御吗?我们是不是都集体接受了生物特征硬件门禁是拯救互联网免于99%合成噪音的唯一方式?
相似文章
Vitalik Buterin 谈AI:重点不是聊天机器人,而是证明软件安全
Vitalik Buterin 认为,AI 可以使形式化验证更加实用,帮助生成规范和证明以确保软件行为正确,从而可能改变以太坊之外的关键软件开发。
@daniel_mac8: https://x.com/daniel_mac8/status/2054994899422826592
该讨论串指出,有最新证据表明AI代理已基本实现自主运作,其中Claude Mythos成功解决了此前未破解的网络攻击模拟实例,并超出当前基准测试测量极限,显示出超指数级进步。同时强调了安全影响及机构应对措施。
OpenComputer:面向计算机使用智能体的可验证软件世界
OpenComputer 提出了一种框架,用于为计算机使用智能体创建可验证的软件环境,集成了状态验证器、自改进验证层、任务合成以及评估系统,覆盖33个桌面应用程序。实验表明,其验证器与人类判断的一致性优于LLM作为判断者,且前沿智能体在端到端完成方面仍面临困难。
人类总会打破规则,AI亦然:论“硬性门禁”的必要性
本文分析了 PocketOS 一起由 AI 代理误删生产数据库的事件,主张采用验证器独立性和可逆性检查等“硬性门禁”,而非单纯依赖提示词工程。
这是一个AI胡说检测器:我每天使用它,它能捕捉到你独自发现不了的问题
一款名为Lighthouse的工具,由一位AI治理工程师构建,利用运行时验证来检测AI输出和写作中的认知漂移以及听起来自信的胡说八道。