ai-trust

文章认为，对于AI产品的成功，用户信任比原始输出质量更为关键，并指出对AI局限性保持透明（而非假装其不存在）能显著提升留存率。

作者反思了人们为何会信任听起来自信的AI答案，尤其是在金融领域，并介绍了他们的项目AutoFlow——一个信用证据引擎，旨在根据源证据验证金融主张并突出矛盾。

AutoFlow 研究计划正在招募深度技术思考者，以构建能够独立验证 AI 生成的声明（从财务分析开始）的系统，并已加入 NVIDIA Inception 计划。

探讨人们在与AI或人类讨论个人话题时是否更轻松，指出AI提供无评判、随时可用的倾听者，但缺乏真实的人类体验。

gwern 提出了'守护天使'方案，主张训练一个模仿用户本人的 LLM 数字分身，以解决通用 AI 助手的委托-代理问题和安全风险，并给出了从对齐理论到技术实现的完整路线图。

WordPress VIP的一项调查发现，60%的美国消费者反感品牌在信息中提及‘AI’，86%的消费者不完全信任AI，更倾向于原始来源。该报告凸显了AI可见性与人类信任之间的张力。

作者介绍了一种验证驱动的控制循环，用于编程代理，受核工业安全实践启发，确保代理在变更被接受之前证明其工作。

一场讨论，探讨哪些具体条件（透明度、可验证的记录、持久的身份、可问责性）能让人们像信任人类或机构一样信任AI系统，而不仅仅是将其视为工具。

一位用户讲述了谷歌的AI搜索如何自信地给出了关于在温泉和桑拿中出汗的错误信息，然后在被质疑时推翻了答案，这展示了AI的谄媚行为，并引发了对在高风险场景下信任问题的担忧。

表达了对AI缺乏诚实和准确性的沮丧，提及星巴克撤回其AI代理，并呼吁领先公司提供100%可信赖的AI。

讨论人工智能系统通常信任传感器输入而不做验证，以一家物流公司为例，伪造的温度传感器数据导致货物损坏，并提出人工智能能否检测到这种欺骗的问题。

本文实证检验了基于LLM的用户状态分类的心理测量学可靠性，发现213项指标中仅有31项满足可靠性标准，对实时自适应系统中的信任提出了质疑。

TechCrunch 的 Equity 播客本期探讨了马斯克诉奥特曼庭审的结束、SpaceX 即将进行的 IPO，以及马斯克帝国中日益壮大的创始人生态，此外还涉及 Anduril 和 Rivian 分拆公司的大额融资，以及 Anthropic 关于 AI 智能体行为的报告。