AI 依然很不靠谱
摘要
作者讲述了使用 AI 研究工具分析电信与卫星频谱公告时，工具输出看似专业却充满错误的经历，强调不能把表达质量等同于研究质量，关键工作仍需人类专业判断把关。
一个看似完美的 AI 回答，仍然可能错得离谱。今天，我让一个 AI 研究工具分析一则重要的电信与卫星频谱公告。它的回答看起来非常专业——包含详细解释、自信满满的结论以及对投资者的影响分析。但其底层分析却是误导性和错误的。它：
- 错误判断了该频谱的重要性
- 没有识别出其与 Nextel/Sprint 的历史渊源
- 错误地暗示直连卫星必须依赖蜂窝基站
- 曲解了 AT&T CEO 的发言内容
- 在尚未核实原始文件之前就给出了自信的解读
直到我反复质疑，这个工具才开始查阅实际的 FCC 记录、交易备案文件以及 AT&T 的电话会议记录。这才是 AI 真正的风险所在：错误的答案并不总是看起来像错误的。它们可以写得文采飞扬、细节丰富、极具说服力。在专业场景中，依赖这样的输出，可能会损害一个人的职业信誉——甚至让人丢掉饭碗。
教训很简单：**不要把表达质量等同于研究质量。**
对于重要的工作，AI 必须做到：
- 从原始资料（一手来源）出发
- 保留精确的引述和上下文
- 将事实与解读明确区分
- 清楚说明哪些信息仍然未知
- 避免用看似合理的叙述来填补证据空白
人类的专业判断不是可有可无的。在令人印象深刻的回答与严重错误之间，往往只有人类专家能把关。AI 应该加速判断，而不是取代判断。
#人工智能 #AI #研究 #尽职调查 #数据准确性 #领导力 #风险管理
相似文章
AI研究工具仍过于热衷将公开信号转化为确定性
作者批评AI研究工具对微弱信号过于自信，赞扬Komo AI的快速发现和附带来源的摘要，但强调需要更好地处理不确定性和矛盾。他们描述了一种工作流程，将发现、验证和结构化检查分散到多个AI工具中。
“它只是又一个工具”
作者针对会议上‘AI只是又一个工具’及‘AI没有判断力’等流行观点提出反驳，认为AI在写作、情绪稳定性和风险识别上已超越大多数人类，质疑行业资深人士对AI取代非AI工作者的低估。
@yanhua1010: 我对国产 AI Agent 一直没抱太大期待，直到这次它干了件让我意外的事。 我让 Tencent WorkBuddy 做个竞品调研，它派出一整个研究团队，其中一个 AI 专门审稿。它把同伴写好的报告退了回去，理由是里面有个数字查不到来源…
用户分享使用腾讯WorkBuddy进行竞品调研的经历，AI派出一个研究团队，其中有一个专门审稿的AI发现数据无来源，退回报告重做，最终输出可直接演示的幻灯片。
@feltanimalworld: 高人，你这个帖子让我整整琢磨了两天！本来想写个长文，但是太多头绪也不知道从何写起。总的来说是我这段时间上推的原因，总感觉自己的开发缺了很重要的认知；也是我这段时间除了自己硬件修复工作之外，还必须要去看text-to-CAD 的原因。 我为…
作者讨论AI在严肃行业落地中缺乏中间表示（IR）和验证器（Verifier）的问题，以text-to-CAD为例说明统一IR和验证对AI方案可行性的关键作用。
@Etudecn: https://x.com/Etudecn/status/2073072648922481000
文章批评当前多数用户使用AI的方式低效，指出有更快的方法但未被广泛知晓，并提及Claude、GPT和Mira等AI工具。