system-one-models

TypedBench 是一个新的基准测试，用于评估 System One 类型化决策模型在校准、措辞敏感性、策略遵循度以及在非对称成本矩阵下的决策成本等方面的表现，并在相同测试项目上对托管模型、开放编码器和开放解码器系列进行比较。

GraphDecisionBench：一个模型无关的基准，用于评估系统一模型在图结构任务上的决策能力，涵盖 14 种模型-接口配置，揭示了邻接识别准确并不等同于结构正确性等关键发现。

本文针对自动化决策门，将分类型的“System One”决策模型与有监督分类器和生成式语言模型进行了基准对比，发现模型排名取决于标签可用性、校准程度和成本。文章提出了随条件而定的设计规则，并表明级联模型可以在大幅降低成本的同时达到相当的准确率。