标签
介绍了TAF-MED,一个经过医生审查的500个多轮医疗安全场景基准,表明当用户声明自我治疗意图时,大型语言模型常常从安全的初始拒绝崩溃为不安全的响应。对8个大型语言模型在4000个对话中的评估发现,71.6%的对话包含不安全响应,而首轮安全性不足以作为对话安全持续性的代理指标。
本文提出了LLM-OSDA,一种用于多轮LLM对话中原生广告的动态点击付费拍卖机制,融合了贝尔曼最优停止、获胜者分配和包络定价。实验表明,与固定时机基线相比,净收入提高了11%,同时保持了用户留存率。
本文提出PUMA,一个用于多轮对话中LLM个性化的框架,该框架建模潜在用户状态,并利用自由能原理选择对话行为,在医疗咨询基准测试中提升了长程对话效果。
Microsoft Research 和 Salesforce 发布的新论文揭示,由于“迷失于对话”(Lost in Conversation)现象,LLM 在多轮对话中的性能显著下降,这对当前单轮基准测试的可靠性提出了挑战。