Open ai

Google描述的基本上是当前AI行业的共识：AI变得极其强大，但在高风险任务上的可靠性仍然是一个未解决的工程问题。他们这样阐述有几个原因：现代AI系统本质上仍然是统计预测系统。即使它们看似“推理”，也可能自信地生成错误信息，因为它们优化的是合理性和连贯性，而非确定性真理。Google、OpenAI和Anthropic等公司已经认识到，当模型在金融、法律、编程、医疗或企业自动化等领域失败时，过度承诺确定性会引发反弹。过去几年表明，AI可以自动化许多工作流程的80-95%，但偶尔仍会犯灾难性错误。这“最后几个百分点”是最困难的部分。“推理模型”这一点也是真实的。行业正在从快速的自动补全式生成转向更慢的系统：将问题分解为步骤、使用工具/搜索、验证输出、执行自我检查、在响应前比较多个候选答案。这大大减少了幻觉，但并未从数学上完全消除。自动驾驶汽车的类比实际上相当准确：AI在某些狭窄任务上已经超过普通人。但在边缘情况下的可靠性是瓶颈。社会对偶尔的人类错误的容忍度高于偶尔的机器错误，尤其是当机器听起来很确定时。重要的细微差别是：他们并不是说“永远不能信任AI”。他们真正想说的是：AI对于许多低风险和中风险任务已经足够可信。对于高风险决策，AI目前最适合作为：副驾驶、分析师、草稿生成器、研究助手或初稿审查者，而不是完全自主的权威。目前实际中：好的用例包括：文档总结、头脑风暴、编程辅助、合同/邮件起草、研究综合、有人类监督的数据分析。未经验证则有风险：法律引用、税务申报、金融转账、医疗诊断、生产基础设施变更、完全自主的业务逻辑。声明遗漏的一点是，可靠性正在通过以下方式快速提高：检索系统（实时接地/搜索）、智能体工作流、记忆、工具使用、模型集成、代码/数学的形式验证、以及领域特定AI系统。因此未来可能不是“一个从不产生幻觉的完美AI”，而是分层系统：一个模型生成，另一个验证，工具检查事实，人类监督边缘情况。这或许就是我们从“有时出色，有时错误”走向“对关键基础设施足够可靠”的路径。