难道只有我觉得最近AI的“末日”新闻只是变相寻求更多资金吗?

Reddit r/artificial 新闻

摘要

作者批评近期AI末日新闻缺乏技术背景,怀疑这是一种公关策略以获取更多资金,认为这些实验设计不佳且并非严肃的基准测试。

最近,我的信息流充斥着危言耸听的AI新闻:AI在战争游戏中选择核屠杀,AI为避免被关闭而勒索工程师,以及常见的“天网来了”评论。我只是试图理解这些,但越深入这些“实验”,就越发现它们缺乏基本的技术背景。作为一名处理多智能体管道的系统架构师,我的部分工作是限制模型、强制关注点分离并构建关键错误流程。我们都知道并非每个模型都适用于每个过程。任何构建真实系统的工程师都会使用编排器、语义记忆(如Qdrant或类似向量数据库)和小型专用节点来隔离关键决策。然而,这些实验听起来像是有人将一个巨大的、单体的5000令牌提示词喂给单个LLM,只是看看会发生什么。这读起来不像是科学,更像是脚本小子在制作YouTube视频。这就像把一把上了膛的AK-47交给猴子,关掉保险,然后发表论文得出“猴子天生就是邪恶杀人犯”的结论。核战争模拟和勒索Claude的实验设计如此模糊,且缺乏架构安全保障,甚至不应被视为严肃的基准测试。这只是儿戏。别误会,我知道AI是一个需要护栏的强大工具。但这些具体例子感觉像是一场大型公关秀:“给我们数十亿用于AI安全,否则AI就会失控。”我们都知道这些大型AI实验室正在烧钱,迫切需要为其巨额预算和监管护城河辩护。我是不是错过了什么,或者我们只是目睹了恐惧的货币化?
查看原文

相似文章

我们该如何看待AI末日论的宣传活动?

Reddit r/ArtificialInteligence

本文探讨了由辞职事件、像Dario Amodei这样的AI领导者的文章,以及涉及Anthropic和OpenAI等公司的监管讨论所引发的关于AI末日情景的日益增长的公众辩论。

为何AI公司想吓唬你:'我们立刻想到《终结者》'

Reddit r/artificial

本文探讨了OpenAI和Anthropic等AI公司如何故意放大关于其技术的末日场景和恐惧叙事,以吸引关注和制造兴奋,随后却将相同产品商业化,研究人员和专家对这种策略及媒体的角色提出了批评。

末日论调为估值辩护

Hacker News Top

乔治·霍兹认为,AI行业的‘末日’叙事是一种故意抬高估值的策略,他将技术进步与炒作驱动的恐惧进行对比,并呼吁问责。