diagnostic-benchmark

MemoBench是一个诊断基准，用于评估视频生成模型在动态变化环境中的记忆一致性，其中物体消失并以更新后的状态重新出现。它包括360个真实视频片段和一个结合自动指标与基于VQA评估的测试套件，揭示了记忆一致性挑战的洞见。

MemFail是一个诊断基准，通过形式化总结、存储和检索操作，并用对抗性设计的数据集进行评估，来隔离LLM记忆系统的故障模式。