公司用于LLM的训练数据枯竭问题后来怎么样了？
摘要
本文重新审视了之前关于人类生成的LLM训练数据将会用尽的担忧，并提出疑问：在AI模型持续改进的情况下，这个问题是否已经解决，或者仍然是一个待解决的问题。
我记得大约一年前，有很多新闻报道说人类生成的训练数据供不应求，训练数据将在不久的将来“枯竭”。当时有一些关于使用合成数据的讨论，但我听说这样做有问题，比如用合成数据训练最终模型会导致问题，并污染输出。这个问题是否已经解决，还是仍然需要解决和修复？大概这不是一个大问题，因为我们看到模型仍在不断改进，但我在新闻周期中没有看到任何关于它的新消息，所以想问问这里是否有人有更多信息。简单的谷歌搜索没有找到太多相关信息。
相似文章
如果LLM不再免费发布，本地LLM会怎样？
文章探讨了免费开源LLM发布可能停止的可能性，质疑现有模型能否通过先进的检索工具在知识陈旧的情况下保持有用性。
LLMs与记忆限制——请审阅我的想法
本文分析了LLM记忆限制，认为真正的个人AI需要单租户权重定制，这与当前多租户云经济模式相冲突，并指出开源权重模型可能是进步的关键来源。
@GaryMarcus：我年纪够大，还记得 @GeoffreyHinton 曾因我说 LLM 会复述训练数据而说我愚蠢。他……
Gary Marcus 强调了 DeepMind 的最新研究，证实 LLM 频繁记忆并复述训练数据，以此反驳 Geoffrey Hinton 过去的批评。该帖子凸显了关于 LLM 局限性及其现实能力的持续辩论。
我运营着一个基于AI的事实核查平台，却坚决不让大语言模型给出最终判定。以下是我的理由。
作者详细阐述了不让LLM生成最终事实核查判定的决定，转而采用混合架构：LLM负责数据提取，确定性Python层负责评分，并指出了随机不稳定性和可审计性的问题。
@AnatoliKopadze：Karpathy 刚刚表示，不使用 LLM 的人已经输在了起跑线上。他花了 4 分钟解释为什么聪明人仍会落后……
文章探讨了 Andrej Karpathy 的观点，即在人工智能领域，真正的优势在于有效利用而非仅仅拥有访问权限，凸显了技能差距：大多数用户未能将 LLM 的应用超越基础任务。