blind-spots

介绍Blind-Spots-Bench，这是一个旨在揭示现代多模态AI模型在人类认为简单的任务上持续失败的基准。评估了一系列模型，揭示了性能差距，并且没有单一模型在所有任务类型中占据主导地位。

本文研究了一个部署的LLM作为判断器系统，用于评估多轮对话代理，发现其捕捉到的缺陷远少于人工审查，揭示了一个结构化的盲点分类和路由故障。