production-data

Agnost AI推出其首款模型agnost-*******-0.1，基于客户生产痕迹训练，以超越前沿模型，在任务成功率、延迟和成本方面带来重大改进，提供定制微调服务。

一场讨论，提出使用生产数据的 AI 代理应该采用数据分支——让代理写入克隆的数据库，然后审查最终的差异，而不是逐个批准每个操作。

一种解决方案，让AI代理安全访问和使用生产数据，无需直接数据库访问，增强安全性和控制力。

OpenAI探讨了公共聊天数据（WildChat）能否有效预测现实世界中的AI不匹配问题，发现使用公共数据集的模拟部署能够提供惊人的准确失败率预测，尽管存在数据时间间隔。

本文认为，大多数 RAG 基准测试具有误导性，因为它们假设语料库质量均匀，而真实世界的语料库在内容密度上差异很大。利用来自三个生产网站的数据，本文展示了一种分层方法和“产出分数”可以更好地预测检索效果。

讨论防止AI编码代理意外修改生产数据库的策略，主张使用只读访问、沙盒环境和审批关口，而不是仅仅依赖提示。