寻找4-8名对智能体可观测性研究感兴趣的人员

Reddit r/AI_Agents 新闻

摘要

招募合作者研究AI智能体行为的验证,重点确保通过授权路径实现预期状态变更,避免意外副作用。

我正在启动一个小型独立研究项目,围绕我在AI智能体基础设施中思考的一个问题:我们能否验证智能体产生了预期的状态变更,通过授权的执行路径,且没有意外副作用?当前的智能体可观测性可以告诉我们很多关于智能体所做的事情:工具调用、跟踪、错误、延迟、中间步骤等。但我更感兴趣的是更困难的问题:实际执行的行为是否正确且在预期范围内。例如,如果要求智能体修改数据库、更改配置或执行其他状态变更操作,我们能否提供证据表明预期的变更确实发生、是通过授权路径实现的,并且预期范围之外的内容没有被更改?我正在寻找2-3名愿意认真研究这个问题的学生/构建者。分布式系统、AI智能体、安全、可观测性、评估、形式化方法或基础设施方面的背景将特别相关。这完全是无偿和自愿的。这是一个副项目,我们将在业余时间进行,与学业、工作或其他项目并行。没有固定的时间表和持续时间。目标不是建立一个初创公司或仅为简历添加另一个项目。我希望实际研究这个问题,阅读相关文献,构建实验,并看看这里是否有有意义的研究贡献。我们将从文献综述和问题的明确定义开始,然后构建一个小的实验设置,并共同决定哪个方向值得追求。如果这听起来有趣,请私信我,简要介绍你自己,你构建或研究过的技术内容,以及你最感兴趣探索这个问题的哪个部分。
查看原文

相似文章

你如何验证你的智能体确实做了它声称做过的事?

Reddit r/AI_Agents

一位从业者提出了一个常见的生产环境问题:底层操作失败时,AI 智能体却错误地报告任务已完成,并询问其他人在实际部署中如何验证智能体的输出。作者正在研究这一问题,并计划分享社区回答的汇总。

智能体可视化项目

Reddit r/AI_Agents

涵盖与AI智能体可视化相关的项目,可能是用于表示智能体行为的工具或库。