寻找4-8名对智能体可观测性研究感兴趣的人员
摘要
招募合作者研究AI智能体行为的验证,重点确保通过授权路径实现预期状态变更,避免意外副作用。
我正在启动一个小型独立研究项目,围绕我在AI智能体基础设施中思考的一个问题:我们能否验证智能体产生了预期的状态变更,通过授权的执行路径,且没有意外副作用?当前的智能体可观测性可以告诉我们很多关于智能体所做的事情:工具调用、跟踪、错误、延迟、中间步骤等。但我更感兴趣的是更困难的问题:实际执行的行为是否正确且在预期范围内。例如,如果要求智能体修改数据库、更改配置或执行其他状态变更操作,我们能否提供证据表明预期的变更确实发生、是通过授权路径实现的,并且预期范围之外的内容没有被更改?我正在寻找2-3名愿意认真研究这个问题的学生/构建者。分布式系统、AI智能体、安全、可观测性、评估、形式化方法或基础设施方面的背景将特别相关。这完全是无偿和自愿的。这是一个副项目,我们将在业余时间进行,与学业、工作或其他项目并行。没有固定的时间表和持续时间。目标不是建立一个初创公司或仅为简历添加另一个项目。我希望实际研究这个问题,阅读相关文献,构建实验,并看看这里是否有有意义的研究贡献。我们将从文献综述和问题的明确定义开始,然后构建一个小的实验设置,并共同决定哪个方向值得追求。如果这听起来有趣,请私信我,简要介绍你自己,你构建或研究过的技术内容,以及你最感兴趣探索这个问题的哪个部分。
相似文章
分享一种面向AI代理的不同研究架构,用以检查并解决运行自主代理时的已知瓶颈。欢迎反馈?
介绍了一种面向AI代理的新研究架构,其核心是一个透明运行时,每次交互都会成为可重放的执行轨迹,具有完全可检查性,包括规划、执行、观察、验证和记忆阶段。
我认为“AI代理的可观测性”正变得有点分散注意力。
文章指出,AI代理的可观测性正在成为干扰,并强调应关注验证实际结果和状态变更,而非仅看重成功执行的痕迹。
我开源了一个完整的代理可观测性堆栈:记录 -> 检查 -> 差异 -> 行动(全部MIT)
本文介绍了一个开源的代理可观测性堆栈,包含四个MIT许可的仓库,专注于提取和检查模型信念,以提升AI代理的调试和性能。
你如何验证你的智能体确实做了它声称做过的事?
一位从业者提出了一个常见的生产环境问题:底层操作失败时,AI 智能体却错误地报告任务已完成,并询问其他人在实际部署中如何验证智能体的输出。作者正在研究这一问题,并计划分享社区回答的汇总。
智能体可视化项目
涵盖与AI智能体可视化相关的项目,可能是用于表示智能体行为的工具或库。