ai-evals

Hamel Husain 分享了一份 AI 评估课程的闪卡和见解，主张在实际的 LLM 评估中使用二元评判而非李克特量表。

作者预测，评估/分析类初创公司将在2026年转型为持续学习平台，其中一些会失败，而品味不凡的将胜出。

Abliteration 推出了一种按需定制的合成训练数据工作流，可为分类器生成负样本、罕见样本和对抗性样本，包含模式、真实世界事实、标签、来源追溯，并支持导出到 Hugging Face 等平台。

Arize AI 将在旧金山举办 Observe 2026 大会，聚焦 AI Agent 及其评估领域，OpenAI、Cursor 和 Uber 的演讲嘉宾将出席。本次大会包含关于多智能体系统及前沿 Agentic AI 的主题演讲。

一份每日被反复转发的11个精选链接，帮你掌握AI评估技术，涵盖评估方法、可观测性、LLM-as-judge与智能体评估。