@Ryrenz: 兄弟们，给 AI 应用做评测不用再瞎摸了，evals-skills 能让编程 agent 带着你搭一套贴合自己产品的评测。 evals-skills 在 GitHub 上 1500+ star，项目说这套方法来自帮 50 多家公司做评测、…

X AI KOLs Timeline 工具
ai-evaluation developer-tools coding-agents llm-judge error-analysis open-source

摘要

evals-skills 让编程 agent 帮助开发者搭建贴合自身产品的 AI 应用评测流程，先定位失败模式再设计评分，已在 GitHub 获得 1500+ star。该方法源自为 50 多家公司做评测及培训数千名学员的经验，包含 error-discovery、validate-evaluator 等技能模块。

⚖️ 兄弟们，给 AI 应用做评测不用再瞎摸了，evals-skills 能让编程 agent 带着你搭一套贴合自己产品的评测。 evals-skills 在 GitHub 上 1500+ star，项目说这套方法来自帮 50 多家公司做评测、教过几千名学员的经验。 很多人做评测，第一步就是拉个通用基准跑分，或者直接让大模型当裁判打分，分数挺好看，线上该出的错照样出。 这套 skill 反过来走：入口的 evals-start 先看你处在哪一步，再把你带到对应环节。手里有日志却没分析过，error-discovery 会帮你抽样、搭一个单文件的标注页面，先把失败模式归好类再写评测；已经在用大模型当裁判，validate-evaluator 会拿人工标注去校准它。 先看清 AI 错在哪，再谈怎么给它打分。 GitHub：
查看原文
查看缓存全文

缓存时间: 2026/10/30 15:20

⚖️ 兄弟们，给 AI 应用做评测不用再瞎摸了，evals-skills 能让编程 agent 带着你搭一套贴合自己产品的评测。

evals-skills 在 GitHub 上 1500+ star，项目说这套方法来自帮 50 多家公司做评测、教过几千名学员的经验。

很多人做评测，第一步就是拉个通用基准跑分，或者直接让大模型当裁判打分，分数挺好看，线上该出的错照样出。

这套 skill 反过来走：入口的 evals-start 先看你处在哪一步，再把你带到对应环节。手里有日志却没分析过，error-discovery 会帮你抽样、搭一个单文件的标注页面，先把失败模式归好类再写评测；已经在用大模型当裁判，validate-evaluator 会拿人工标注去校准它。

先看清 AI 错在哪，再谈怎么给它打分。

GitHub：

相似文章

AI Agent & Skill 测评方案及落地实践

Hacker News Top

本文介绍了腾讯技术工程团队在AI Agent与技能测评方面的方案设计及落地实践经验，旨在为开发者提供可参考的评估框架。

@yibie: 推荐这篇，Hamel Husain——世界上最懂 AI eval 的实践者之一——说了一句话："这东西很难评估"本身就是一个产品气味。 如果你不给用户提供可检查的中间产物，他们就会重做一遍你的工作来验证输出。那你的产品对他们的价值是什么？…

X AI KOLs Timeline

文章推荐并总结了Hamel Husain的博客，指出“难评估”本身是产品设计缺陷，应优先设计便于用户验证的产品，并通过AI数据分析agent、教案生成器和工伤报告三个案例说明如何通过提供可检查的中间产物来提升产品价值。