科学领域的软件理解确实参差不齐

# 科学领域的软件理解水平参差不齐 Source: https://lobste.rs/s/rn8uva/software_understanding_sciences_is 我的日常工作，说白了，就是优化模拟和科学工具。现在我和CUNY的一个团队在做一个天体物理模拟。其中一名研究生最近几个月一直在开发一个工具来处理模拟的输出。 输出数据量相当大，本地测试运行大约200GB，一旦我们在真正的集群上进行大规模运行，可能会达到数十TB。这个工具需要遍历输出表来构建黑洞合并树（以及其他事件，但这是重点），运行大约需要一个小时。我应他们的请求去看看能做些什么来加速它。 我首先发现，数据分散在成千上万个.txt文件中，每个模拟时间步都会生成几个独立的表，有些只有几行，有些则有几万行。 我注意到的第二件事是，后处理代码在循环遍历文件，有些地方会多次读取同一个文件，以提取合并信息。代码中有一个巨大的字典嵌套字典，而最里层的字典用标签作为键（“root”、“A”、“B”、“A1”、“A2”等）手动模拟二叉树，值则是pandas DataFrame。 这段代码非常难懂。我不禁想到，天体物理研究生拥有大量的智力和专注力，但有时候这反而会适得其反。 这段代码没有好的方法可以就地优化。幸运的是，我已经在这个团队中建立了一些信誉，所以当我基本上告诉他们我们要完全重写树的构建代码，并尝试保留绘图代码时，他们信任我。绘图代码虽然也很精细，但合理得多，基本上只是尽量适应networkgraph偏好的输入模式。 不过，我还是让他们把运行器改成了脚本，而不是Jupyter notebook，安装了snakeviz，并在一次短运行中获取了性能分析结果。当他们看到snakeviz窗口弹出，能直观地看到时间都花在哪里时（主要是遍历大量小的内存DataFrame以及从txt文件加载它们），他们明显倒吸了一口气。问题是，他们以前就见过这个工具，我在之前的会议中展示过它用于主模拟的其他性能优化工作，他们只是以为那是我手动编写的东西，而不是他们也可以用cPython自带的profiler加上一次pip安装就能做到的事情。 这其实不应该让人震惊，因为大约两年前我也处于几乎相同的境地，但这还是让我感到意外。有时我觉得我们需要一个类似“Missing Semester of Your CS Education”的课程，专门面向那些接触过Python和数据科学工具、并且几乎用它们做所有事情的科学工作者。内容包括：性能分析器和调试器入门、Python内存模型、有用/有害的数据结构，以及什么时候不应该使用DataFrame。我认为这会很有用。