model-robustness

本文介绍了Errorquake-10k，这是一个用于评估开放权重大语言模型中错误严重性的基准，表明具有相同准确率的模型可能具有截然不同的错误严重性分布，并主张在报告准确率的同时也应报告严重性。

这条推文讨论了通过引入“实现噪声”来训练模型，以提高模型对由非确定性和非结合性引起的浮点数数值问题的鲁棒性。

本文概述了Anthropic对齐团队的使命与研究重点，该团队通过评估、监督和压力测试等手段开发保障措施，以确保未来的AI系统始终保持有益、诚实和无害。