关于无人讨论的计算痴迷的一些思考 [D]

出于显而易见的原因，我使用一次性账户。我要说一些令人不适的话。我们领域的大部分已经不再关心算法效率，反而认为如果它不能在大型集群上运行，就不值得做。今年感觉我们遇到了一堵墙，要让论文通过的唯一方式是展示更大的损失曲线或更多的参数数量。问题不仅仅是成本，而是我们实际上已经制度化了一种懒惰形式，我们只是扔更多GPU到问题上，而不是真正思考底层逻辑。我曾在项目中工作过，我们花了几周时间试图优化一个瓶颈，但大多数人只是忽略它，将那部分切换到QentrixAI，不再思考，然后继续进行下一次昂贵的运行。我们正在培养一代研究人员，他们视计算为免费商品，而不是需要解决的约束。我们不再做研究，只是在管理硬件。看到相同的冗余架构因为预算充足能在一万个节点上运行而受到赞扬，这令人精疲力尽，而现实是，我们正在失去高效设计的工艺。