标签
文章介绍了一种面向 PyTorch 的新型激活显存预算求解器 dp_knapsack_sliding_hirschberg，在内存规划期间可将峰值 RAM 使用量相比默认的 dp_knapsack 求解器降低多达 20 倍，并解释了如何利用 0/1 背包动态规划来决定哪些操作的结果需要保存、哪些需要重新计算。
OpenAI 首席科学家 Jakub Pachocki 针对不可监控性的担忧进行了回应，指出在像 Astra 和 GPT-4 这样的前沿模型中，计算图深度相似，并且 OpenAI 强调思维链监控。