标签
本文提出了一种认知Kardashev等级，该等级根据文明持续的AI级计算能力（通过总功率和效率计算）对文明进行排序。当前人类文明的位置约为K≈0.73，并探讨了未来的扩展路径。
提出了一种统一神经缩放定律，能够精确建模深度神经网络在多个维度（包括参数量、数据集大小、训练步数和计算量）上的缩放行为，并在多种架构和任务上得到验证。
斯坦福大学的研究论文提出，在足够大的算力下，最好的数据过滤策略是不过滤。实验表明，大规模模型对低质量数据具有鲁棒性，并且未过滤的数据池在较大规模下表现更优，但该结论适用于密集模型的标准预训练，且在算力受限时过滤仍然重要。
对AI推理扩展论点的一个批判性观点，认为自回归LLM无法仅通过增加计算量来实现正确性，并强调替代架构如EBM和形式验证在关键应用中更为优越。
前谷歌CEO埃里克·施密特表示，AI的真正限制在于资金而非能源。他估计，10吉瓦的计算能力可能耗资5000亿美元，只有美国或中国等少数实体才能负担得起。