@DanKornas: UI测试应该能够经受重构——并且看到用户实际看到的界面。Midscene.js 是一个视觉驱动的 UI 测试…

X AI KOLs Timeline 工具
vision-driven ui-testing automation open-source cross-platform natural-language

摘要

Midscene.js 是一个视觉驱动的 UI 测试工具包，它使用自然语言步骤和基于截图的操作，而非选择器，支持 Web、移动、桌面和自定义界面。它采用 MIT 许可证开源。

UI测试应该能够经受重构——并且看到用户实际看到的界面。 Midscene.js 是一个视觉驱动的 UI 测试和自动化工具包，适用于在 Web、移动、桌面和自定义界面工作的构建者。 它帮助您创建和维护 UI 流程，将自然语言步骤转化为基于截图的操作、查询和断言，而不只是依赖选择器或可访问性树。 主要特性： • 纯视觉定位 – 从截图中定位元素，包括画布控件和跨域 iframe。 • 跨平台 API – 涵盖浏览器、Android、iOS、HarmonyOS、桌面应用和自定义界面。 • 自然语言工作流 – 允许您使用 JavaScript SDK 或 YAML 编写自动化。 • 视觉断言 – 检查渲染细节，如颜色、高亮、布局和状态。 • 灵活的测试设置 – 与 Playwright 或 Vitest 集成，并包含用于无代码试用的 Chrome 扩展。 它是开源的（MIT 许可证）。 链接在回复中
查看原文
查看缓存全文

缓存时间: 2026/07/25 06:02

UI 测试应该能承受重构——让你的测试看到用户实际看到的界面。

Midscene.js 是一款视觉驱动的 UI 测试与自动化工具包，适用于 Web、移动端、桌面端及自定义界面的开发者。

它通过将自然语言步骤转化为基于截图的操作、查询和断言，帮助你创建和维护 UI 流程，而不仅仅依赖选择器或无障碍树。

主要特性： • 纯视觉定位 – 通过截图定位元素，包括 canvas 控件和跨域 iframe。 • 跨平台 API – 覆盖浏览器、Android、iOS、HarmonyOS、桌面应用和自定义界面。 • 自然语言工作流 – 支持通过 JavaScript SDK 或 YAML 编写自动化流程。 • 可视化断言 – 检查渲染细节，如颜色、高亮、布局和状态。 • 灵活的测试配置 – 集成 Playwright 或 Vitest，并包含用于无代码试用的 Chrome 扩展。

它是开源的（MIT 许可）。

回复中的链接。

相似文章

@quanruzhuoxiu: 做 Midscene.js 这两年，我们做了一个迟来但关键的判断：UI 自动化迟早要从「理解 DOM」切到「看屏幕」，所以去年 12 月 1.0 版本我们直接砍掉了 DOM 兼容路径。 早期我们和大家一样，走的是 DOM + 视觉混合方案…

X AI KOLs Timeline

Midscene.js 团队决定从 DOM + 视觉混合方案彻底转向纯视觉 UI 自动化，认为未来 UI 自动化必然要基于屏幕截图而非 DOM。这一改变降低了 Token 消耗并简化了跨平台适配。

@quanruzhuoxiu: 经常被问：Midscene 和 Browser-Use 有什么区别？ 都是开源，都用视觉，都解决各自该解决的问题。下面是诚实对比，不是踩 Browser-Use。 Browser-Use 是个 web agent，定位是「打开浏览器，把这…

X AI KOLs Timeline

A comparison of Midscene and Browser-Use, two open-source tools with different focuses: Browser-Use is a web agent for one-time tasks, while Midscene is a vision SDK designed for reliable multi-platform repeated execution.