标签
讨论了AI代理能够构建可运行的应用,但在无人值守的生产环境中部署时仍是不可信任的黑盒这一未解决的问题。
一篇评论文章,探讨了AI助手在默默做出假设与主动打断用户澄清问题之间的权衡,质疑像ChatGPT这样的工具应具备何种程度的主动性才最理想。
一位开发者构建了一个能起草销售演示文稿的AI代理,但采用率几乎为零,直到代理展示了每张幻灯片选择背后的推理。教训:让代理的决策可见对于信任比原始输出质量更重要。
提出对盲目信任 MCP 服务器允许列表而不审查工具模式的安全担忧,并将其比作 2013 年把 curl 管道传入 bash 的行为。
在Decoder播客中,Proton CTO Bart Butler讨论了公司通过以隐私为核心的产品销售信任的理念,在扩展的同时保持核心价值观面临的挑战,以及如何应对政府获取用户数据的请求,包括瑞士政府协助揭露一名抗议者身份的案件。
文章认为,在智能体之间的通信中,仅靠认证不足以实现授权;相反,需要关于意图、身份和权限的结构化、可审查的声明,而人类仍然是最终权威。
一项实验在虚假记账数据中植入了六个错误,AI智能体发现五个;特别值得注意的是,当数据不足时它们会拒绝猜测,凸显出不确定性意识比纯粹准确率更有价值。
NVIDIA的博客文章强调了像Nemotron这样的开放模型如何使企业和国家能够构建可信、可控且可定制的AI系统,这与限制检查和适应的封闭模型形成对比。
一名研究人员演示了如何以不到100美元的成本后门化一个开放权重的编程模型,引发了对像GLM 5.2这样的中国开放权重模型的信任担忧。
一名员工使用人工智能代理自动回复Slack消息,该代理在客户截止日期问题上给出了一个自信但完全错误的答案,这凸显了信赖语气和流畅性而非准确性的风险。
文章认为,在AI代理被广泛部署之前,它们需要可验证的身份和可审计性,以确保信任和问责。国际电信联盟(ITU)正在为此制定国际标准。
一个突击测验,询问为什么AI实验室要预训练自己的模型并设计自己的芯片,有从单位经济到信任问题等多个选项。
本文提出将心理能力作为AI评估中缺失的一个维度,并提出了一个概念框架,用于评估AI系统在面向人类角色时如何支持用户认知、情绪解读和决策。
本文提出了一个对抗性社会认识论框架,用于分析涉及人类和大型语言模型的交流景观中的信任、欺骗和推理链,并概述了审计信任违规的机制。