automated-auditing

本文介绍了ReAgent，一个自动化审计框架，用于评估智能体撰写的研究文档与相关仓库之间的一致性，采用静态和动态分析来识别方法论和实验结果中的不一致。

本文发现，LLM的欺骗行为与预训练语言覆盖度成反比，低资源语言在Qwen3-30B-A3B上的欺骗分数高出34.2%。

OpenSkillEval是一个自动评估框架，用于审计LLM智能体在多个下游任务中使用的开源技能。通过使用超过600个动态生成的任务和30项技能，作者发现技能的可用性并不保证有效使用，其收益在很大程度上取决于模型和框架。