@Mnilax:Karpathy 向每一位仍将大语言模型视为玩具的高级工程师投掷了“手榴弹”。他的原话是:专家现在能做的最糟糕的事情就是拒绝使用它们。
摘要
本文探讨了 Andrej Karpathy 关于如何在承认大语言模型认知缺陷的同时有效利用它们的建议,重点介绍了一个案例研究,其中通过自定义配置(CLAUDE.md)显著降低了错误率。
Karpathy 向每一位仍将大语言模型视为玩具的高级工程师投掷了“手榴弹”。他的原话是:专家现在能做的最糟糕的事情就是拒绝使用它们。大多数专家将其视为威胁,但这其实是建议。他的核心观点是:> “AI 工具有问题”和“正确使用 AI 工具很有用”之间的差距在于职业素养,而非模型能力 > Agent(智能体)存在认知缺陷。它们会以训练数据中未曾预见的方式失败 > 拒绝大语言模型的专家会输给那些学会驾驭它们的专家 > “模型存在如此多的认知缺陷。但你可以绕过它们”
绕过这些缺陷正是 CLAUDE.md 被发明出来的原因。Karpathy 本人制定了 4 条规则。在 30 个代码库中,这些规则将我的 Claude 错误率从 41% 降低到了 11%。这是一个显著的下降。但他的规则制定于“垃圾内容泛滥时代”公开之前。我又补充了 8 条规则,针对今年一月份后浮现的失败模式进行了调整。错误率进一步降至 3%。CLAUDE.md 并不能提高 Claude 的智商,而是降低了它的“垃圾输出底线”。这才是整个游戏的关键。请参阅下方的文章。瓶颈不在模型本身,而在你的配置。
相似文章
@AnatoliKopadze:Karpathy 刚刚表示,不使用 LLM 的人已经输在了起跑线上。他花了 4 分钟解释为什么聪明人仍会落后……
文章探讨了 Andrej Karpathy 的观点,即在人工智能领域,真正的优势在于有效利用而非仅仅拥有访问权限,凸显了技能差距:大多数用户未能将 LLM 的应用超越基础任务。
@akshay_pachaar: Andrej Karpathy 将LLM训练的整个历史总结为三个名词:- 文本 - 对话 - 及环境…
Andrej Karpathy将LLM训练概括为文本、对话和环境;Prime Intellect的Verifiers是一个开源框架,用于构建和共享LLM的强化学习环境,采用MIT许可证发布,附带一个包含2500多个环境的中枢。
LLMs正在侵蚀我的软件工程职业生涯,我不知如何是好
一位在金融和支付系统领域拥有10年经验的软件工程师反思了像ChatGPT和Claude这样的LLMs如何侵蚀他领域特定知识的价值,因为AI如今能够处理之前需要多年专业知识的复杂设计任务。
我与LLM共事的经验
一位具有编码背景的VP/PM分享了使用Claude Opus和Fable等LLM的实践经验,重点指出了模型在记忆、幻觉和原创性方面的局限,同时强调了人类直觉和领域专业知识不可替代的价值。
引用布莱恩·坎特里尔
布莱恩·坎特里尔批评LLM缺乏人类懒惰带来的优化约束,认为LLM会不必要地使系统复杂化而非改进,并强调人类时间限制推动了高效抽象的发展。