一个拒绝猜测的符号化引擎

大多数 AI 评估最终都会给出一个分数。这很有用，但它无法回答一个更具体的问题：这个特定输出是否足够可靠，以至于无需再次询问人工即可发布？我构建 Chiron 就是为了处理那些可以精确定位答案的情况。它是一个针对受支持的结构化输出的“精确定位或拒绝”证据门。对于序列类数据，Chiron 会恢复一个受限的候选规则，然后在未见过的保留项上进行测试。精确预测可得到 verified: true；而仅仅拟合可见数据的公式仍只是一个候选。对于文本中受支持的声明，它会将每个声明报告为 VERIFIED（已验证）、REFUTED（已驳斥）或 REFUSED（已拒绝），然后显示覆盖边界。周围的自由格式文本不会仅仅因为一次检查通过就被默认批准。请在此处尝试一个非敏感示例：https://jiannotti5040.github.io/chiron/ 公开的证据是刻意限定且可运行的。当前冻结的外部评估结果如下：22 个已盖章输出、22 个外部正确、0 个错误盖章、12 次拒绝。失败历史也是公开的：早期对 109 个序列的扫描发现了 3 个错误盖章。这些失败已被公布、从根源修复并重新运行。我认为这比呈现一个看起来完美无缺、却未说明如何证伪的系统更有用。eval/grade.py 根据 OEIS 真实情况对这些冻结输出进行评分，而 challenge.py 允许你选择序列。协议在此：https://github.com/jiannotti5040/chiron/tree/main/eval 这并不是声称要认证任意散文、取代专家或解决泛化的“AI 安全”问题。它旨在与追踪、LLM 评判和更广泛的评估一起使用，当受支持的结果需要精确的发布条件——或者明确的中止条件时。该仓库的源代码可供非商业使用；完整引擎的商用许可适用于组织部署。我尤其珍视反例、范围异议，以及那些不应使用“精确定位或拒绝”门的工作流示例。