@Steve_Yegge:SkillBench 是我所知的最不可思议的重要初创公司之一,一直很难不去谈论它。恭喜…
摘要
Steve Yegge 盛赞 SkillBench 这家初创公司,它能扫描编程代理的会话记录,构建技能档案并提升令牌效率。Matt Beane 宣布将全职出任 CEO。
查看缓存全文
缓存时间: 2026/07/02 06:19
SkillBench 是我所知的初创公司中极其重要的一家,一直难以开口谈论他们。恭喜 @mattbeane 迈出这巨大的一步!
SkillBench 有望解决行业内的诸多问题,其中代币效率便是至关重要的一项。它真的是我在 AI 时代见过的最实用的成果之一。
简单来说(这可能会有些简化),他们通过扫描你的编程助手会话记录,从中构建出一份技能档案。你会得到一张类似角色卡的东西——生活就像 RPG 游戏。你是否在代币使用上效率低下?他们会帮你发现问题所在,甚至为你连接导师。
事实上,他们的意义远比我暗示的更为深远,但我选择从代币效率谈起,因为这可以说是当前行业面临的最大挑战。所有人都在用启发式方法对代币效率指标进行修补,试图将结果与开发者的投入挂钩。但只有 SkillBench 将这一问题视为细粒度的技能发现难题,我认为这意味着他们是唯一走在正确道路上的团队。
我之后会更多地谈论他们。我认为他们是解答「未来组织如何运作,才能更好地促进人类繁荣」这一难题的关键一块。
Matt Beane (@mattbeane): 对于在专业领域认识我的人来说,我先直接剧透这篇文章的结尾,做个正式宣布。
今天我开始学术休假,并正式担任 @skillbenchinc 的全职 CEO。
我们正在推出我在这里提到的功能,以及更多内容。请忽略我们的网站。更多信息即将发布。
相似文章
@gneubig: SkillsBench 是一个很棒的基准,我这么说不仅仅是因为 @OpenHandsDev 在上面击败了所有其他人。技能……
SkillsBench 1.1 是一个用于评估 AI 代理使用技能能力的基准,现已完全审计且无错误。
@xdotli: 人们来到我们的Discord,询问如何撰写好的提案来制作评估。当我启动SkillsBench时,我们只有0……
SkillsBench创始人分享了该项目在不到六个月内从零快速增长到1600+ Discord成员、2篇论文和150+引用,以及大量文档资料。
@xdotli: 使用AI基准测试的一大痛点就是在其首次发布后遇到错误。今天,我们发布了SkillsBe…
SkillsBench 1.1已发布,作为首个经过审计、无错误的AI智能体技能基准测试,显示能力从约36%迅速提升至67%的解决率,并证明技能可以替代模型规模。
@vincentsunnchen: 新一期Benchtalks与@jyangballin:关于ProgramBench(发布时前沿模型得分为0%)以及编码基准测试的传承与未来…
一档播客/访谈节目,讨论ProgramBench——一个在发布时前沿模型得分0%的新编码基准测试。内容涵盖其设计理念、人工制品级评估,以及从SWE-bench和InterCode到现在的编码基准测试的演变。
@alex_prompter:Y Combinator CEO Garry Tan 在 Startup School 2026 进行了42分钟演讲,讲解如何构建你自己的 p…
Y Combinator CEO Garry Tan 分享了他于 Startup School 2026 演讲中关于构建个人 AGI 的见解,强调上下文和技能文件比模型选择更重要,而捕捉可复用的技能可以大幅提升产出。