标签
Epoch AI分析了融资是否会成为AI算力扩展的瓶颈，以Anthropic通过债务融资的500亿美元基础设施建设项目为案例。该分析认为，机构投资者愿意基于长期付款承诺提供贷款，尤其是在有供应商支持的情况下，因此融资不太可能成为前沿算力增长的直接限制。
一个关于AI近期未来的详细推测性帖子，认为算法进步会让许多人感到惊讶，智能可能提升4-10个数量级，并且我们正处于早期起飞阶段，AI加速AI研究将带来快速进展。
个人感悟：获取更多算力只会暴露对算力的进一步需求，反映了人工智能和科技领域中永不满足的需求。
本文提出了一种认知Kardashev等级，该等级根据文明持续的AI级计算能力（通过总功率和效率计算）对文明进行排序。当前人类文明的位置约为K≈0.73，并探讨了未来的扩展路径。
提出了一种统一神经缩放定律，能够精确建模深度神经网络在多个维度（包括参数量、数据集大小、训练步数和计算量）上的缩放行为，并在多种架构和任务上得到验证。
斯坦福大学的研究论文提出，在足够大的算力下，最好的数据过滤策略是不过滤。实验表明，大规模模型对低质量数据具有鲁棒性，并且未过滤的数据池在较大规模下表现更优，但该结论适用于密集模型的标准预训练，且在算力受限时过滤仍然重要。
对AI推理扩展论点的一个批判性观点，认为自回归LLM无法仅通过增加计算量来实现正确性，并强调替代架构如EBM和形式验证在关键应用中更为优越。
前谷歌CEO埃里克·施密特表示，AI的真正限制在于资金而非能源。他估计，10吉瓦的计算能力可能耗资5000亿美元，只有美国或中国等少数实体才能负担得起。