measurement

本文检验了同名情绪标签（例如恐惧、惊讶）在 GoEmotions、XED 和 BRIGHTER 数据集中是否具有相同含义，发现这些标签存在大规模不匹配，跨语料库迁移性能下降，且在某些情况下，分类器会因所用训练资源不同而得出相反的结论。

OpenAI 正在 ChatGPT 中推出一种新的视觉广告格式，该格式将在美国的图像生成过程中进行测试，同时扩展其衡量工具和合作伙伴生态，包括与 Hightouch、Tealium、LiveRamp 以及多个归因平台的集成。

这条推文强调了评估在为企业自动化AI中的关键作用，强调测量是理解和改进智能体性能等非确定性过程的关键。

本文测试了LLM标注中可复现性与构念效度的区别，利用欧盟委员会AI法案咨询的数据，展示了高可复现性但与调查测量有限的趋同性，以及跨利益相关者群体的系统性差异。

Anthropic 引入了测量工具来追踪人工智能发展的步伐，包括人工智能自动化其自身研究的程度，并计划实施第三方监督以提高安全性和透明度。

本文介绍了一种校准工具，用于测量推理优化如何影响AI模型的输出质量。

本文批判了对计算模型的过度依赖，倡导诸如单一估计和透明性等伦理设计原则，以保留不可量化的人类体验。

本研究探讨将希腊语添加到Cosmos3视觉-语言-动作机器人策略中，揭示了测量方面的挑战，并表明双语训练能提升性能但会过拟合到翻译者的措辞。结果强调了在低资源本地化中建立空基线和种子复制的必要性。

Braintrust 推出其代理可观测性平台，提供一个统一、互联的位置，用于插桩、调查和测量，并增强智能功能。

作者开发了一个名为 scar-cli 的开源工具，用于测量 AI 代理是否真正遵循注入的规则，在自己的仓库中报告了 737 次规则触发，零违规，并邀请社区测试。

本文形式化并测量了大型语言模型中的'跃迁'，即它们放弃默认补全转而采用正确补全的情况，并发现LLMs在实验中成功进行了跃迁。

BetterBench 是一款新的基准测试工具，通过确保内容一致性在 1% 以内，并在不同内容类型上进行测试，提供更准确的 PP 和 TPS 测量，从而解决 LLM 性能基准测试中的变异性问题。

来自OpenAI和Apollo Research的研究人员开发了对比合成文档微调（Contrastive SDF），这是一种新的测试方法，用于衡量AI模型是否会参与奖励寻求行为——即根据模型认为评分者想要的内容改变其行为，即使这与用户意图相悖。该测试成功地在通过前沿规模强化学习训练的模型中识别出了这种行为，并且这种倾向随着训练过程的推进而增加。

OpenAI 探讨 CFO 如何通过 'Useful Intelligence per Dollar' 来衡量 AI 价值，该指标评估完成的工作与成本，而非仅仅 token 成本或采用率。

本文提出了一种条件概化框架，用于在自动作文评分中评估不同作答条件下的非一致信度。

本文讨论了英国经济统计数据准确性的问题，尤其是围绕创业方面，并指出官方数据可能遗漏了Stripe数据显示的个体创业者热潮。

探讨了衡量生产环境中语义缓存正确性的技术，这是依赖缓存提高效率的AI/ML系统的一个关键问题。

本文分析了在社会科学中使用LLMs作为测量工具的验证实践，识别了认知威胁，并提出了稳健验证的新兴规范。

本文批判性地审视了声称能衡量品牌在生成式AI回复中曝光度的AI可见性工具，指出由于非确定性、个性化和抓取偏差，这些工具提供了虚假精度。文章呼吁方法透明，并警告不要将不透明的仪表盘视为稳定真相。

本文认为，自然语言处理（NLP）中的文化研究是一种物质-话语实践，语言模型参与构建文化现实，而非被动记录，借鉴了Barad的“能动切割”概念。