标签
HyperHat 的创始人分享了一份评测设计草案,旨在衡量 AI 智能体能否识别相互矛盾的任务要求并提出澄清问题,而非盲目执行。该设计将存在矛盾的任务与要求可满足的对照任务配对,以防止智能体通过简单取巧的方式在评测中得分。