trace-analysis

Braintrust的Topics功能利用LLM摘要，使得生产环境中的代理追踪在大规模聚类和分类中变得可控，该方法受Anthropic的Clio方法启发。

本文研究了LLM中基于推理轨迹的知识蒸馏中的关键不匹配问题，揭示了语义正确的思维链推理轨迹与最终答案正确性没有可靠相关性，以及为优化模型性能而优化的推理轨迹往往对终端用户的可解释性最差。