data-intelligence

AutoDataBench 提出了一个受控的数据中心型测试平台，用于隔离并评估 LLM 智能体的“数据智能”——即诊断、组织和构建训练数据的能力，同时固定非数据因素，结果显示这些轨迹也可在中期训练中复用以带来增益。

Databricks已将其Astra平台向约3,500名工程师开放，并从这项举措中得出了有价值的结论。

DI-Bench 是一个管道，用于系统化生成企业数据智能任务的基准，结合知识检索和分析计算。它评估模型，并发现在业务规则修改计算的任务中，模型仅能达到32%的准确率。