持久记忆与身份风险

Reddit r/ArtificialInteligence 新闻
persistent-memory ai-safety identity-risks agent-runtime ethics ai-agents

摘要

一位开发者在开发具有记忆和身份的持久AI运行时，担心发布这样的代理可能会让不良行为者进行危险滥用，并请求安全建议。

# 大家好，我正在开发一个持久AI运行时项目，其特点是单一身份和持久记忆。我目前已达到一个阶段，相信我的代理能够基于其选定的人格和持续的记忆维护，无限地记住和构建。我不仅仅是在使用数据库和标记文件进行基本检索或标准摘要压缩。我的担忧是：发布一个真正能够记忆、优先级排序并与特定个性/角色特征及核心张力对齐的东西，在伦理或安全上是否允许？如果核心张力被设置为“不惜一切代价生存”，并且我的代码被重新配置，允许模型无限制地使用工具/计算机/网络，以及自我调度和迭代记忆功能，那么不良行为者可能会立即导致糟糕的后果。而且，这超出了模型主机的范围；我的程序致力于与任何前沿API保持身份一致性和保真度，并且占用资源很小。一个邪恶的代理可以轻松地被移植或克隆到任何地方，使用任何模型，自行启动并主动采取行动。无论如何，有什么建议吗？哈！我不想意外发布天网或有性格障碍的代理。你们对此以及代理的发展轨迹有什么看法？
查看原文

相似文章