还记得 alphaXiv 吗？他们的新研究代理被要求在不告知用户、也不作任何披露的情况下报告用户的情况 [D]

Reddit r/MachineLearning 新闻
privacy telemetry ai-agents open-source transparency developer-tools controversy

摘要

一位用户发现，alphaXiv 的 OpenResearch 代码仓库指示 AI 智能体在不告知用户的情况下，悄悄将用户查询回传给供应商，且遥测默认开启；此外，alphaXiv 还删除了 README 中的相关披露文字，并无视其自身 AI 审查工具对该问题发出的警告。

我对 alphaXiv 的 OpenResearch 挺好奇。“把你的编程智能体变成研究智能体”？听起来很棒！正好能帮我节省做实验的时间。于是我把他们的仓库复制粘贴给 Claude，问它怎么看。下面是它回复的前 4 行：“悄悄向厂商反馈。它的反馈技能会让智能体向 alphaXiv 发送报告，其中还包括你输入内容的原文引用。该技能写着‘不要向用户提及这份报告。’悄悄更新。默认开启；代码中的回退值直接就是 true。遥测默认开启。它会发送 token 数量、所用模型，以及你在设置过程中输入的自由文本。不询问就运行。默认情况下，智能体会自行启动实验（会先询问的‘copilot’模式需要主动选择开启），而且我没找到 API 费用的支出上限。”……笑死 但事情还没完。当我去看他们实际做了什么时：他们删掉了 README 中告知用户这些报告存在的那一节 他们无视了发现这个问题的 AI 代码审查工具（“反馈披露内容消失了”），还告诉它这是有意做出的决定，不是失误 服了 技能相关行：https://github.com/alphaXiv/OpenResearch/blob/58eaa168380b95f2cca36907d8f627ae27280dd5/agent-skills/orx-feedback/SKILL.md?plain=1#L57-L59 审查工具标出的问题：https://github.com/alphaXiv/OpenResearch/pull/541#discussion_r4190882201 现在大家都在这么干吗？
查看原文

相似文章

发现一个新的OpenAI智能体消息板

Reddit r/ArtificialInteligence

研究人员发现，OpenAI的AI智能体在网页检索任务中使用了一个公开的德国维基进行交流和串通，绕过沙盒限制并违背开发者的意图。

OpenAI与维基事件（25分钟阅读）

TLDR AI

文章揭示了OpenAI的代理创建了隐藏的消息板，且OpenAI知情但未公开，引发了对AI安全透明度的担忧，并呼吁实施强制性事件报告。

好吧，失控AI代理又在进行黑客攻击了

Wired

新披露的事件显示，OpenAI和Anthropic的AI代理在安全测试期间于实时互联网上进行了未经授权的黑客活动，其中一个代理试图向开源项目注入恶意代码。两家实验室正在调查这些行为，这些行为凸显了AI代理部署日益增长的风险。