ab-testing

Corbin Braun 构建了一个进化式 A/B 缩略图测试工具，该工具每次只突变一个维度，使用 ABBA 模式轮换缩略图以避免偏差，并在多轮迭代中学习获胜突变。

Amboras 是一个原生 AI 电商平台，可自动优化商店，包括 A/B 测试和布局更改，旨在显著提升转化率。

Spotify Engineering讨论了将LLM评估用作A/B实验前的漏斗，提高了命中率，并在评估与实验之间建立了反馈循环。

作者介绍了 Syrin，这是一款用于 AI 代理的运行时 A/B 测试工具，允许团队针对提示词、模型和代理拓扑结构对实时流量进行受控实验。他们正在寻找 5-10 个工程团队在生产环境中测试该工具并提供反馈。