有没有人给最近模型输出中悄然出现的微妙“Sameness”起个名字？[R]

Reddit r/MachineLearning 新闻
synthetic-data homogenization model-evaluation echo-creep model-convergence ai-discussion

摘要

一位研究者观察到近期发布的模型输出中存在微妙的趋同现象，推测其源于共享的合成数据来源，并为此现象提出术语“EchoCreep”，同时寻求社区关于评估指标和潜在解决方案的意见。

我最近对多款新发布模型（包括API和开放权重）进行了大量对比评估，发现一个难以忽视的模式：当对话轮数达到一定数量，或涉及小众领域时，输出开始趋同——相同的节奏、相同的闪烁其词、相同的盲点。这不是完全崩溃，而是一种……同质化，一种渐进蔓延。我的工作假设是：我们已经深入合成数据飞轮，现在正看到第一代效应。不是灾难性的模型崩溃，而是那些共享合成数据谱系的模型逐渐丧失“纹理”。我在笔记中称之为EchoCreep——由共享合成数据谱系驱动的模型行为缓慢而持续的趋同。还有其他人注意到这个现象吗？是否有正式术语？如果没有，你在评估中是否观察到符合此模式的现象？我特别感兴趣的是： - 能捕捉该模式的具体评估指标 - 完全使用人工策划数据进行微调能否消除它 - 你发现不同检查点版本之间这种现象是否加剧 任何反馈都欢迎，谢谢。
查看原文

相似文章

ECHO：涌现的共模隐藏偏移驱动偏好优化中的词汇坍缩

arXiv cs.CL

本文发现，“共模隐藏偏移”——偏好优化过程中隐藏状态沿共同方向发生的偏移——是词汇阱形成和生成坍塌背后的机制，并表明这一现象存在于17个模型谱系中，同时提供了一种表征层面的早期预警信号，用于揭示排序指标的盲区。

模型崩溃怎么回事？

Reddit r/LocalLLaMA

对模型崩溃的探讨，这是一种AI模型在合成数据上训练后，其质量和多样性下降的现象。

ContextEcho: 面向长时代理编码会话中人设漂移的基准测试

arXiv cs.CL

本文介绍ContextEcho，一个用于在长时间使用工具的编码会话中测量大语言模型人设漂移的基准测试和可复用的工具包，揭示即使像Anthropic Sonnet 4.5这样的前沿模型也会表现出显著的漂移，并且这种漂移在会话压缩后仍可能持续存在。