一个我未预料到的边缘案例：页面上存在但当前不可交互的操作

之前在这里提到过我正在开发的agent-readable-manifest API（即“页面上可用操作”的那个，如果你有印象的话）——这不是再次推销，而是我遇到的一个具体问题，我认为它确实被讨论不足。我用API对自己的主页进行了测试以检查。除了常规的按钮/表单分析，6个操作中有3个被标记为"visible": false——它们是页面上真实的元素（在DOM中存在的按钮，拥有真实的选择器），只是当前未渲染或不在视口中。其中一个实际上是我们自己的"Start free"按钮，位于页面下方。这是我之前没有明确建模的一个关键区别：“元素存在于页面上”和“代理现在可以与之交互”不是一回事，混淆它们正是导致代理尝试点击实际上还不存在的东西的原因。截图会错过这一点，因为它不在屏幕上。原始DOM转储通常也不会暴露这一点，除非你专门检查计算的可见性。我很好奇其他构建网络代理的人是否将可见性作为单独的信号来追踪，还是将其普遍归入“不可交互”。感觉这应该改变代理规划多步任务的方式（先滚动还是立即点击），但我还没有看到很多专门讨论这一点的内容。