real-world-evaluation

本研究严格检验了扩展网络视频预训练能否提升机器人任务性能，发现更大模型和更多计算资源在真实工业任务中持续产出更优策略，且预训练质量与性能表现呈正相关。

UniClawBench 提出了一个以能力为导向的基准，用于评估在动态现实世界环境中运行的主动智能体，采用实时 Docker 容器和包含多个智能体角色的闭环评估策略。

本文探讨了基于LLM的机器翻译系统在文本到911紧急服务中的部署情况，指出了常见的误解，并为利益相关者提供了建议，以确保人工智能在关键场景中的安全有效使用。

RoboMemArena 推出了一项大规模基准测试，旨在通过现实世界验证评估涵盖 26 个复杂任务的机器人记忆能力，并提出了 PrediMem，这是一种利用预测编码优化记忆管理的双系统视觉 - 语言 - 动作模型。