浏览器会话在大约20个并发时开始失败。没有人提醒过你这一点

Reddit r/AI_Agents 工具
playwright nodejs scraping concurrency memory-issues production-issues

摘要

在生产环境中使用 Node.js 运行 Playwright 爬虫时，大约20个并发浏览器会话开始失败，导致内存飙升和崩溃。开发者指出文档中没有关于此限制的警告。

29M后端开发者。在生产环境的Node.js上使用Playwright爬虫，之前一切正常，直到18个并发时出现超时。内存飙升，WebSocket掉线，队列死掉。扔了32GB内存进去，好像能解决问题似的。项目经理觉得我在拖延，说实话我也不怪他疑惑——文档全是关于水平扩展、简易部署之类的。从没说你会在大约20个并发时崩溃？？自Chrome 121以来，staging环境出现OOM杀死进程。降级的PR已经开了两周，没人愿意合并。今天已经重启了四次worker。到底有谁能在Node无头模式下跑超过15-20个并发而不需要手动管理每个会话？你的失败模式是什么，超时还是完全崩溃？
查看原文

相似文章