标签
本文介绍了KnowSim，一个通过建模用户知识状态来评估LLM助手信息校准的评估框架，经人类判断验证并优于基线模拟器。
提出了Persona Policies（PPol），一种即插即用的控制层，利用LLM驱动的进化程序搜索来生成多样且逼真的用户角色，用于评估LLM代理。相比基线实现了33-62%的适应度提升，逼真度评分达到80.4%，并将代理鲁棒性提升了+17%的任务成功率。