为什么没有顶级 LLM 提供商投资扩散型 LLM？
摘要
本文探讨了为何在 Mercury 2 等近期技术取得进展的背景下，主流 LLM 提供商仍未大力投资扩散型 LLM。文章分析了阻碍该技术更广泛采用的潜在底层缺陷或硬件瓶颈。
一年前，我可能会说扩散型 LLM 是个有趣的概念，但距离实用化还很远。它们目前的技术细节仍显粗糙，但 Mercury 2 的进展让人感觉它们终于快要达到可用水平了。不过，除了 Meta、Ant 和 Inception/Mercury 之外，似乎并没有多少实验室在认真布局——尤其是 OpenAI、Anthropic、Google、xAI 这样的一线大厂，甚至是像 DeepSeek 和 Kimi 这样专注底层架构的团队。我对 DLLM 的了解有限，因此很好奇：为什么会这样？是该技术范式本身存在底层缺陷，导致它们难以成为二线模型？还是当前的硬件栈已经成为 DLLM 训练与推理的瓶颈？又或者是其他实验室只是在低调研发，尚未对外公布？
相似文章
当前LLM成本为何不可持续
本文认为，当前高昂的LLM定价不可持续，原因是性能提升递减、开源权重模型兴起、专用AI芯片降低推理成本以及零切换成本，并预测随着竞争加剧，价格将大幅下降。
2026年最佳LLM网关的竞争中，谁将领跑？
本文探讨了寻找2026年最佳LLM网关的过程，重点强调了企业级功能，如提示缓存、细粒度成本归属以及对推理模型的支持。
These startups are chasing the next big thing in LLMs
MIT Technology Review reports on a wave of startups pursuing post-transformer architectures for LLMs, as the dominant model family faces growing costs, energy use, and context-length limits. Companies like Subquadratic aim to build the next generation of AI.
LLMs陷入了群体思维的窠臼。这家初创公司正试图让它们摆脱困境。
一家名为Springboards的初创公司开发了一款名为Flint的LLM，旨在生成比主流模型更多样化和更具创意的回答，以解决AI输出中普遍存在的同质化问题。文章强调了相关研究，表明许多LLM因为训练数据和方法相似而趋同于类似的答案。
为什么没有一个社区项目来在消费级硬件上从头训练你自己的LLM？
关于缺乏一个社区项目来在消费级硬件（8GB显存）上使用BitNet和Muon等现代技术从头训练LLM的讨论，提议合作构建这样一个项目。