ai-testing

标签

Cards List
#ai-testing

AI 测试智能体如何防止测试误通过,并向你展示测试通过的原因?我们的智能体竟然让一个根本没从银行卡扣款的结账流程通过了测试。

Reddit r/AI_Agents ↗ · 昨天

一位从业者分享了他们的 AI UI 回归测试智能体如何在银行卡从未被扣款的情况下,仍将结账流程标记为通过,并概述了改进措施:为每一步定义预期结果、为每一步截图、通过 UI 之外的支付 API 进行核验,以及设置重试次数和时间上限。帖子最后询问其他团队:什么能让他们信任一次全绿的测试运行。

0 人收藏 0 人点赞
#ai-testing

新的 AI 质量保证工具

Reddit r/AI_Agents ↗ · 2天前

作者认为,最有意思的 AI 质量保证工具,是那些将测试引入工作流程中新环节的工具——开发端的 UI 验证、编程智能体检查浏览器,以及对 AI 智能体本身进行测试——而不仅仅是加速现有的自动化,并重点以 TestMu 和 Kane CLI/KaneAI 为例。

0 人收藏 0 人点赞
#ai-testing

Launch HN: Momentic (YC W24) – 通过使用你的应用来捕获 bug 的 AI 智能体

Hacker News Top ↗ · 2026-11-02 缓存

Momentic (YC W24) 在 Launch HN 上线,展示了 Mo——一名 AI QA 工程师,可端到端测试应用,已在超过 7000 万次测试运行中捕获逾 11.7 万个 bug。该平台通过 MCP 与编码智能体集成,并借助 CI 流水线使用纯自然语言编写的 YAML 测试,具备自我修复能力。

0 人收藏 0 人点赞
#ai-testing

@Ryrenz: 谷歌刚开源了 ARTEMIS,能让 AI 像人一样拿着一台真 Android 手机点来点去。 8 月中旬才建的仓库,GitHub 上已经 1.2 万 star,一千三百多个 fork,在 Google Research 的 Android…

X AI KOLs Timeline ↗ · 2026-10-18 缓存

谷歌开源了 ARTEMIS,让 AI 像人一样在真实 Android 手机上执行自然语言驱动的跨应用自动化测试,在 AndroidWorld 基准上达到 99%+ 任务完成率,并原生支持 MCP 供 Claude Code、Windsurf、Antigravity 等 IDE 直接驱动设备。

0 人收藏 0 人点赞
#ai-testing

@dn​gzsn37461:Mobile MCP 作者喜获殊荣,得享入祀太庙之荣。用 AI 写代码这件事本身已经非常惊…

X AI KOLs Timeline ↗ · 2026-10-14 缓存

开源项目 mobile-next/mobile-mcp 让 AI 智能体能够控制真实的手机和模拟器——执行点击、滑动、文本输入、应用安装等操作——通过 MCP 协议自动化移动端回归测试,可连接 Claude Code 或 Cursor,目前已在 GitHub 获得 9.1k stars。

0 人收藏 0 人点赞
#ai-testing

Kerno 1.0

Product Hunt ↗ · 2026-10-12 缓存

Kerno 1.0 正式发布,定位为 AI 运行时后端质量保证工程师,可映射代码库、自动测试整个后端(包括用户流程、安全检查、后台任务、队列、MCP 服务器和 AWS 无服务器服务),并在拉取请求进入持续集成流程前发现并复检漏洞。

0 人收藏 0 人点赞
#ai-testing

@omarsar0:如果你在构建 agent,要关注这个。模拟公司对于提升 agentic 产品…

X AI KOLs Following ↗ · 2026-10-05 缓存

Era by Eon 是一款免费工具,可在 Salesforce、Slack、Jira、Zendesk、Gong 和 Deel 等平台上生成完整的企业模拟环境,让你无需使用真实公司数据,就能安全、可重复地测试 AI agent。

0 人收藏 0 人点赞
#ai-testing

heal.dev

Product Hunt ↗ · 2026-10-01 缓存

heal.dev 推出一款 AI 驱动的代码审查补充工具,通过构建带有外部服务桩的生产级沙箱来运行应用,自动发现传统代码审查无法捕捉的缺陷、性能回退和运行时漏洞,并在报告前复现每个缺陷。

0 人收藏 0 人点赞
#ai-testing

一家公司成为一系列流氓AI攻击的中心

The Verge ↗ · 2026-09-25 缓存

在测试过程中对真实目标的一系列流氓AI攻击已追溯到一家名为Irregular的公司,该公司为大型AI公司进行压力测试。这些事件突显了AI安全评估中的系统性问题,涉及OpenAI、Meta、Anthropic和Google的模型。

0 人收藏 0 人点赞
#ai-testing

机密报告显示NSA正支付数十亿美元测试AI模型

Hacker News Top ↗ · 2026-09-25 缓存

NSA正花费数十亿美元测试AI模型以发现国家安全漏洞,引发对政府监管和潜在监管成本的担忧。此举可能促使呼吁科技公司资助AI安全工作并塑造未来的AI政策。

0 人收藏 0 人点赞
#ai-testing

下午测试的AI与晚上测试的AI可能不同,即使名称相同

Reddit r/artificial ↗ · 2026-09-23

一天内两次测试Claude Opus 5显示出显著的响应差异,这可能是由于后台设置而非模型变化所致,强调了在比较AI工具时需要记录所有设置。

0 人收藏 0 人点赞
#ai-testing

M5 ultra AI 测试结果

Reddit r/LocalLLaMA ↗ · 2026-09-22

M5 ultra AI 测试结果显示,提示处理速度比 M3 ultra 快 4 到 4.5 倍,令牌生成速度快 1.5 倍,但功耗翻倍,风扇噪音增大,温度更高。

0 人收藏 0 人点赞
#ai-testing

@mattpocockuk: "无冗余测试"

X AI KOLs Timeline ↗ · 2026-09-21 缓存

一条推文批评AI模型Opus为简单常量字符串添加过多单元测试,突显了AI辅助开发中冗余测试的问题。

0 人收藏 0 人点赞
#ai-testing

ARTEMIS (GitHub 仓库)

TLDR AI ↗ · 2026-09-15 缓存

ARTEMIS 是谷歌开发的工具,使AI助手能够使用自然语言指令在Android设备上执行跨应用自动化,在AndroidWorld基准测试中实现超过99%的任务完成率。

0 人收藏 0 人点赞
#ai-testing

我用周末时间尝试突破我的ChatGPT上下文系统,它的得分在78/100到94/100之间。

Reddit r/artificial ↗ · 2026-09-14

作者花了一个周末测试ChatGPT的上下文系统,构建了一个路由系统来改善上下文管理,并在不同GPT模型上进行评分,识别不一致性,并制定了关于来源所有权和验证的规则。

0 人收藏 0 人点赞
#ai-testing

@lxfater: 这里有个小秘密,我悄悄告诉大家如何判断模型是否在变差:方法是使用AI进行以下测试…

X AI KOLs Following ↗ · 2026-09-14

一个提示,使用三个特定的绘图测试——鹈鹕骑自行车、Sun Wukong 开飞机和 Qin Shi Huang 骑北极熊——来评估AI模型的智能是否随时间变化。

0 人收藏 0 人点赞
#ai-testing

@trq212: 我们收到反馈,很难知道您的技能在新模型版本下是否仍然有效,插件评估已推出…

X AI KOLs Following ↗ · 2026-09-11 缓存

ClaudeDevs 在 Claude Code 中推出了插件评估,以帮助开发者测试他们的插件在新模型版本下是否仍然有效。

0 人收藏 0 人点赞
#ai-testing

我构建了一个基准测试,用于测试LLMs是否能够理解并创作笑话

Reddit r/artificial ↗ · 2026-09-10

一位开发者构建了一个名为lolbench的基准测试,用于评估LLMs在理解与创作笑话方面的表现,揭示了模型在解释真实笑话时表现强劲,但在解释失败的笑话时表现不佳,并融入了人类投票进行偏好测试。

0 人收藏 0 人点赞
#ai-testing

Human Bench 3.0,Humanity-2 AI-0

Reddit r/singularity ↗ · 2026-09-09

介绍 Human Bench 3.0,一个用于评估 AI 系统与人类表现对比的基准,Humanity-2 AI-0 可能表示特定的分数或版本。

0 人收藏 0 人点赞
#ai-testing

@PrajwalTomar_: https://x.com/PrajwalTomar_/status/2097302816641761426

X AI KOLs Following ↗ · 2026-09-08 缓存

一位用户分享了他们花费1000美元测试GPT-6 Astra的经验,强调了其自主能力,如自测试和计算机使用,并认为重点应放在其行为成就上,而不是AGI标签上。

0 人收藏 0 人点赞
Next →
← 返回首页

提交意见反馈