标签
随着AI模型消耗有限的人类生成数据，未来的训练可能会依赖其他AI产生的合成数据，这引发了关于长期影响的疑问。
本文分析了AI for Science领域的资本格局，指出数据耗尽推动了资本对科学实验数据的重视，并梳理了代表性融资案例。
本文应用《Moneyball》的理念于Physical AI，指出行业过度重视原始数据量和远程操作时长，而低估了数据的新颖性和边际效用。文章提供了一个数据定价框架，并推荐了机器人领域资本效率的策略。
大量剩余的AI训练数据以未数字化的形式存储在仓库的磁带上，这突显了在基于互联网的数据耗尽时的一个潜在数据来源
介绍TimeMoDE，这是一个将扩散Transformer与混合专家模型相结合的框架，用于在数据稀缺条件下生成逼真的时间序列。该框架通过在多个领域的数据集上进行预训练，并利用领域提示来处理领域特定特征，同时结合扩散时间步信号实现自适应去噪。
本论文介绍了一种方法，它训练一组模型而非单个模型，在数据稀缺的情况下扩展多轮预训练时，能显著降低损失。
Asuka Zheng认为，关于'训练数据即将耗尽'的恐慌是错位的；真正的稀缺在于收集多样化、长周期数据时的想象力不足，她用自己的SRE替代项目及更广泛的研究趋势说明了这一点。
科学家声称已找到一种解决方案，防止AI模型在人类生成数据耗尽时自我蚕食，解决了模型崩溃问题——即基于合成数据训练的大语言模型会产生胡言乱语和幻觉。
本文重新审视了之前关于人类生成的LLM训练数据将会用尽的担忧，并提出疑问：在AI模型持续改进的情况下，这个问题是否已经解决，或者仍然是一个待解决的问题。
提出TAP，一种表格数据增强策略，将扩散修复与学习者条件策略相结合，以在数据稀缺条件下提升下游模型性能，在真实数据集上优于强基线模型。
本文提出了一种自监督物理信息神经网络（PINN）框架，该框架通过可学习的混合神经元自适应地平衡基于物理和数据驱动的损失，并结合迁移学习以提高数据稀缺情况下的效率。该框架在仅有87个数据点的液态金属微型散热器CFD数据上进行了验证，误差低于8%。