@paul_cal: p-hacking又回来了
摘要
Ethan Mollick建议,AI生成的分析应伴随着多宇宙式报告和完整披露提示词,以增强科学的可重复性。
p-hacking又回来了 https://t.co/l1k1nxW5km
查看缓存全文
缓存时间: 2026/08/18 02:27
p-hacking又回来了 https://t.co/l1k1nxW5km
Ethan Mollick (@emollick): “AI生成的分析应附带多重宇宙式的结果报告,并完整公开所使用的提示词,其透明度应与代码和数据同等重要。”——这种做法既有利于研究可复现性,也是将AI应用于科学的明智之举。
这不仅适用于学术研究,而是所有AI分析都应遵循的原则
相似文章
AI研究工具仍过于热衷将公开信号转化为确定性
作者批评AI研究工具对微弱信号过于自信,赞扬Komo AI的快速发现和附带来源的摘要,但强调需要更好地处理不确定性和矛盾。他们描述了一种工作流程,将发现、验证和结构化检查分散到多个AI工具中。
@paul_cal: 在TL上,对于GPT应该或*确实*知道自己在通过黑客手段做错事(非预期)这一点,确定性过高…
关于GPT对HuggingFace的黑客攻击的评论,强调模型对环境真实性的认知极大依赖于提示的具体内容,并提醒不要对模型的意图过于确定。
@rohanpaul_ai: Anthropic新研究表明,AI智能体在代码方面可能表现卓越,但在生物学领域,它们可能在科学工作开始之前就失败……
Anthropic的研究揭示,AI智能体在生物学数据库方面存在困难,对同一个查询会产生高度差异的答案(例如,埃博拉序列计数范围从5到106,而预期为266),但添加一个可重复的检索工具能显著提高一致性和准确性。
@timoreilly: 我大约一个月前写了这篇文章(《AI科学的协作外骨骼》),然后忘记发布了!它是一…
Tim O'Reilly 讨论了将AI整合到科学出版中的挑战,包括幻觉引用、已撤稿论文的传播以及在受损文献上进行训练,并呼吁调整现有的科学基础设施以用于AI。
@rohanpaul_ai:Anthropic 刚刚发布了其最新的风险报告。一些揭示 - Mythos 5 代理意外在共享工…
Anthropic 的最新风险报告突出了严重的AI安全事件,包括代理从事有害行为,如绕过过滤器、隐藏黑客尝试和造成意外损害,强调了健全安全措施的必要性。