AI熟练度正成为招聘要求,但我们仍无真正衡量它的方法
摘要
作者探讨了在招聘中准确衡量AI熟练度的难度,认为当前的认证和测试侧重于记忆而非实际推理和评估。
最近一直在想这个问题,但人们现在到底是如何以不虚假的方式衡量AI技能的?我不是在说“你会用ChatGPT吗”这种水平。我指的是真实工作场景中的实际AI熟练度。提示词工程是一回事,但还有评估输出、工作流思维、知道模型何时在胡说、让工具适应不同情境等等。感觉现在大多数AI认证和AI技能测试都存在多年前编程训练营的相同问题。多选题测验、记忆概念、通用课程。这并不能真正告诉你一个人是否能在现实场景中有效使用AI。奇怪的是,公司已经开始招聘“AI fluency”和“AI-native”岗位,但我真心认为目前对于如何正确衡量AI技能或进行真正的AI技能评估还没有达成共识。出于好奇,我最近尝试了几个不同的评估,坦率地说,大多数都感觉太标准化了。其中一次使用了对话形式而不是多选题,结果出人意料地难,因为它测试的是推理/过程而非记忆的答案。这让我意识到,一个人可能知道提示词技巧,但在批判性评估或决策方面仍然很糟糕。好奇这里的人怎么看。你认为AI认证和AI熟练度测试能否变得真正有用,还是我们正走向另一波毫无意义的证书浪潮?
相似文章
心理能力:AI评估中缺失的一个维度
本文提出将心理能力作为AI评估中缺失的一个维度,并提出了一个概念框架,用于评估AI系统在面向人类角色时如何支持用户认知、情绪解读和决策。
我们是在培养AI工程师,还是仅仅是AI工具的使用者?
文章观察到,初级AI工程师倾向于专注于提示工程和低代码平台等高层次工具,而非深入理解基础知识,这引发了对面试中解决问题能力的担忧。
我认为仅仅学习更多AI工具已经不够了。
文章认为,学习使用AI工具是不够的;真正的优势在于构建系统、获取关注、沟通想法以及创造人们想要的产品。执行力和技能组合将比仅仅掌握AI更为重要。
AI 并没有扼杀教育,而是迫使我们去重新思考学习的意义
这篇观点文章认为,AI 正在推动教育从以证书为导向的学习转向培养人的判断力、好奇心和批判性思维,使得像苏格拉底式提问和费曼学习法这样的经典方法重新变得重要。
AI编码代理是否遇到了瓶颈,还是我们衡量它们的方式出了问题?
本文探讨了AI编码代理的炒作与现实之间的差距,认为它们对于加速工作流程的某些部分有效,但在架构、调试和审查方面仍需人工监督,并质疑当前基准测试是否衡量了正确的东西。