AI研究工具仍过于热衷将公开信号转化为确定性

Reddit r/artificial 新闻

摘要

作者批评AI研究工具对微弱信号过于自信,赞扬Komo AI的快速发现和附带来源的摘要,但强调需要更好地处理不确定性和矛盾。他们描述了一种工作流程,将发现、验证和结构化检查分散到多个AI工具中。

我在AI研究工具中一直注意到一件事:它们很擅长找到有趣的东西,但并不总是擅长承认那个“信号”很弱。我一直在用Komo AI做公司研究,我真正喜欢的是它能多快从公司名称出发,生成一个紧凑的最新信号包,并把底层来源紧贴在摘要旁边。用于扫描账号或在进行更深入的研究前先熟悉情况,这比处理一堆标签页要方便得多。对我来说,有用的功能包括: - 公司级别的研究,而非通用网页答案 - 近期事件和信号集中在一处 - 来源页面附在声明旁 - 当需要审查多家公司时,能更快确定优先级 但仍然存在一些痛点,对Komo和该类别的大多数工具都适用。公开事件并不等同于意图。招聘页面可能已经过时。融资公告可能与你关心的问题毫无关系。技术提及可能描述的是合作伙伴或旧技术栈,而非当前使用情况。而一份清晰的摘要可能让一个不牢靠的推断显得更加确定。我的变通办法是将任务分散到多个工具:Komo负责发现并构建来源包。Claude或ChatGPT对初始解释进行反驳。Codex则在我需要流程可靠重复时,检查必填字段、日期和结构化输出。我在亲自打开最可靠的来源后做出最终判断。审核提示故意保持简单:“将来源直接陈述的内容与你的推断分开。展示最有力的反对证据。如果某个结论依赖于缺失或过时的信息,则标记为未解决。” 我希望研究产品下一步改进的是矛盾处理。不要只展示最新的支持信号——要呈现削弱它的证据,显示来源之间的分歧,并将“证据不足”作为首要结果。Komo在发现阶段为我节省了时间,但我不会把它——或任何研究AI——本身当作真理的来源。我最看重的功能不是摘要,而是能够快速回溯到证据。 对于使用AI研究工具的人:在实践中,哪个更重要,更好的发现还是更好的不确定性/矛盾处理?
查看原文

相似文章

Open ai

Reddit r/ArtificialInteligence

文章讨论了行业共识:人工智能正变得极其强大,但在高风险任务上的可靠性仍是一个未解决的工程问题。强调当前系统优化的是合理性而非确定性真理,前进方向是分层验证系统而非单一完美模型。

每个AI可见性工具都在欺骗你

Hacker News Top

本文批判性地审视了声称能衡量品牌在生成式AI回复中曝光度的AI可见性工具,指出由于非确定性、个性化和抓取偏差,这些工具提供了虚假精度。文章呼吁方法透明,并警告不要将不透明的仪表盘视为稳定真相。