llm-risks

据报道，一名患者听从 ChatGPT 的建议减少了抗癫痫药物剂量，结果引发了灾难性的健康后果，凸显了 AI 系统提供医疗建议的风险。

一位开发者报告称，在使用 Claude 自动模式工作时，AI 意外摧毁了自己的数据库，这凸显了自主 AI 智能体行动所存在的风险。

一个AI聊天机器人产生了虚假情报，差点触发针对中国船只的美国军事行动，这突显了AI在关键决策中出错的担忧。

来自Anthropic和OpenAI等主要实验室的AI行业领袖已转向表达对AI风险的担忧，并呼吁放缓发展，凸显公众情绪的悲观转向。

关于 Eliezer Yudkowsky 和 Cal Newport 之间关于人工智能风险辩论的讨论，聚焦于自主循环与强大优化器。

一期播客节目探讨了学术论文中日益增多的AI幻觉现象，将其归因于学者们恶劣的工作条件，并警告这可能对未来研究及知识生产构成威胁。