AI熟练度正成为招聘要求,但我们仍无真正衡量它的方法
摘要
作者探讨了在招聘中准确衡量AI熟练度的难度,认为当前的认证和测试侧重于记忆而非实际推理和评估。
最近一直在想这个问题,但人们现在到底是如何以不虚假的方式衡量AI技能的?我不是在说“你会用ChatGPT吗”这种水平。我指的是真实工作场景中的实际AI熟练度。提示词工程是一回事,但还有评估输出、工作流思维、知道模型何时在胡说、让工具适应不同情境等等。感觉现在大多数AI认证和AI技能测试都存在多年前编程训练营的相同问题。多选题测验、记忆概念、通用课程。这并不能真正告诉你一个人是否能在现实场景中有效使用AI。奇怪的是,公司已经开始招聘“AI fluency”和“AI-native”岗位,但我真心认为目前对于如何正确衡量AI技能或进行真正的AI技能评估还没有达成共识。出于好奇,我最近尝试了几个不同的评估,坦率地说,大多数都感觉太标准化了。其中一次使用了对话形式而不是多选题,结果出人意料地难,因为它测试的是推理/过程而非记忆的答案。这让我意识到,一个人可能知道提示词技巧,但在批判性评估或决策方面仍然很糟糕。好奇这里的人怎么看。你认为AI认证和AI熟练度测试能否变得真正有用,还是我们正走向另一波毫无意义的证书浪潮?
相似文章
AI 并没有扼杀教育,而是迫使我们去重新思考学习的意义
这篇观点文章认为,AI 正在推动教育从以证书为导向的学习转向培养人的判断力、好奇心和批判性思维,使得像苏格拉底式提问和费曼学习法这样的经典方法重新变得重要。
设计抗AI的技术评估方案
Anthropic工程师Tristan Hume探讨了为招聘性能工程师设计抗AI技术作业测试的挑战,并详细介绍了近期Claude模型如何开始超越人类候选人的表现。
AI对现有技术技能具有倍增效应
Josh W. Comeau 认为,AI 放大现有技术技能,而非取代开发者。他以 Matt Perry 等专家工程师为例,说明他们借助 AI 显著提升生产力,而新手则常举步维艰。文章强调,领域专业知识对于有效使用 AI 工具至关重要。
AI基准测试不如模型能否处理乏味的现实责任重要
文章认为,AI基准测试和华丽的演示被过度强调了;真正考验AI可信度的是模型如何处理乏味的现实责任,如遵循指令、承认不确定性、处理边缘情况以及可审计性。
人工智能在投资领域的应用
一位拥有14年经验及CFA认证的金融专业人士对当前投资领域的人工智能应用表示怀疑,指出其结果往往过于乐观或流于表面,并询问其他人如何有效利用人工智能。