研究智能体有品味吗——即在实验结果未知之前，能判断哪些实验值得开展？我们向六个前沿模型提供七篇近期 NLP 论文。每个模型作为研究智能体单独或以团队形式工作，提出最小可行实验（MVE），预测每个实验能否通过其自设的阈值，并对它们进行排名。随后由一个独立的执行者尝试所有 MVE（包括排名最后的），再由三个模型审计员对结果进行评判。在 415 个 MVE 中，有 194 个被判定为合理、有价值且新颖，但其中不到一半（73 个）同时被判定为超越了种子论文且并非显而易见。智能体的首选实验比随机选择更常与审计员最看重的实验一致，但并未证明优于直接选择论文中首先写出的实验。它们的预测优于基准率，但与仅获得论文和注册信息的同一模型的新实例相比，准确度并未可衡量地提高。团队成本更高，却没有带来提案质量的明显整体提升。智能体产出了许多有价值的实验，但支持其排名能改善实验选择这一说法的证据仍然有限。评估框架以及全部 415 个 MVE 的数据集（含预测和审计结果）可在 https://github.com/ArtKanke/rTaste 获取。