计算化学，本地化？我对SSH的吐槽

# 计算化学，本地运行 来源：https://chillphysicsenjoyer.substack.com/p/computational-chemistry-locally 我的一个项目是预测蛋白质的光谱。为此，我设计分子，然后用计算机优化其几何结构并找到能级。大多数人都在大学的高性能计算集群上做这类工作。 但多次这样操作后，我注意到一个问题。当我需要远程登录集群时，第一步就是登录。我首先得登录大学VPN，这意味着要用一些过时的软件在我的电脑上设置好VPN。然后是身份验证环节，VPN软件会让你经历多重身份验证和两步验证才能登录。而当两步验证窗口终于出现时，我还得从房间某个角落翻出手机来获取验证码。平均下来，我每次需要做点什么时，VPN + ssh + 两步验证这个过程大概要花30秒，感觉真有点太长了。 整体工作量不算大，但中间步骤和琐碎事情太多了。 我称其为*笨拙*。当完成一个任务需要很多中间步骤时，就是笨拙的。你知道那些高档酒店里烦人的淋浴控制器吗？你得分别调整两个旋钮来控制水压和温度——那就是笨拙。 在大学计算集群上工作就是*笨拙*的。 使用某样东西时有一点笨拙通常没问题。但如果笨拙程度哪怕稍微多那么一点，后果可能是灾难性的。如果开始做某件事的中间步骤太多，我就变得不那么有动力去做了，甚至会忘记它，最糟糕的情况下干脆放弃这个项目。这意味着整个工作流可能因为微小琐碎的原因而丢失。很多事情都是如此！比如，给咖啡机除垢真的很麻烦，所以我从来不做，结果它总是坏掉。 使用这些集群的摩擦已经足以阻止我完成原本会做的工作。如果我是一名全职博士生，我可能会硬着头皮完成每个繁琐的登录步骤。但我不再是了，我是独立进行这项工作，时间紧张。而且我是下班后做这个，精神上也很疲惫。这些因素意味着，只有当我能够即时、无烦恼地访问计算资源时，我才会觉得值得开始。这是独立科学家们试图优化的东西，我在之前的一篇文章中写过。 > *从背景来看，许多人在大学期间做过研究，但开始工作后不得不放弃。还有一些人在顶级科技公司、科学相关公司工作，或是初创公司创始人，他们在项目管理和研究方面已有高水平经验。有些人甚至已经提交过论文！大多数人纯粹出于热情在业余时间进行研究，并选择工业界的日常职业来支持财务和生活方式目标。* *来源：我与500位独立科学家交谈中学到的东西* 计算本身与分析计算化学程序输出的日志之间还有一层摩擦。如果你想可视化轨道或查看模拟输出，在集群中运行Python非常别扭，而且集群没有图形界面。我以前的做法是用SCP来回复制日志文件。效率很高，我知道……我曾经用MacFUSE配合sshfs，但结果证明它非常不可靠，而且速度很慢。我几年前写过这个流程。 > *如果你像我一样，是在使用Slurm的远程HPC集群上进行计算物理/化学的新手，我过去幼稚的做法是：* > * - 在我的本地电脑上，用笔记本电脑的IDE和工具编写Python脚本、输入文件和逻辑，然后* > * - 用 ssh/rsync 将它们传到远程集群，然后* > * - 进行计算，然后* > * - 用 ssh 或 rsync 将它们传回来。* > * 但对于刚起步的小项目来说，这有点烦人。尤其是当你最终写了一大堆样板代码来同步文件——代码越来越多。猜怎么着——我花在那些代码上的时间太多了！* > *所以相反，我意识到我可以使用* *macFUSE with sshfs (https://macfuse.github.io/) 通过 sshfs 将远程目录挂载到本地，这样* **我就可以像对待任何其他目录一样对待它**。*有一些繁琐的地方，比如在Mac M1上更改安全权限设置，但我发现教程很容易遵循。* *来源：MacOS sshfs* > *大多数计算化学程序输出的是荒谬的大段文本日志文件，没有合适的API。能解决这个“千刀万剐”式问题的是Python封装器或解析器。* *来源：简化解析日志文件的工具* 然后还有所有其他烦人的事情，当你在远程集群上工作时。例如，你需要移植本地自定义的脚本和快捷键。复制文件时可能有延迟。同时管理远程 shell 和本地文件更困难。这真是一场噩梦。 然后还有一个最大的障碍——大多数人没有大学计算集群的访问权限。我很幸运能和一个允许我使用其集群的大学合作，但大多数人没有这个机会。 一个克服在集群上做计算化学困难的想法是，所有事情都在本地做。不过这样做有两个问题。第一个问题是安装和配置计算化学软件真的很难、很复杂。第二个问题很明显——通常本地电脑没有足够的计算能力在合理时间内完成任务。 但是有了Claude Code，安装东西变得相当容易！几周前我让Claude在我的Mac上安装OpenMolcas并运行了一些测试，它们似乎都通过了。至于算力，我也意识到有很多小任务其实可以在我的机器上运行： [图片链接] 例如，我可以对我正在处理的一个小二酰胺分子（19个原子）进行基本的SCF优化，它似乎可以工作。 [图片链接] 结果看起来是一样的。 [图片链接] 相同的输入，相同的几何结构，每个核心一样。 [图片链接] 在集群上所有144次Stage-2运行中：最小值187秒，中位数190秒，平均值191秒，最大值212秒。而Mac是82秒，集群运行的中位数速度是它的2.31倍慢。 Mac使用的是 `LINALG=Internal`（捆绑的参考BLAS）、OpenMP关闭、MPI关闭——这是它能用的最慢的线性代数库。 这是它们的样子。 [图片链接] #### 关于本文的讨论 ### 准备好了解更多了吗？