cognitive-tasks

CogScale 是一个包含14个可扩展合成任务的基准测试，旨在隔离并评估序列处理模型中的认知与记忆能力。它提供了一个轻量级框架，用于快速验证架构设计，并在严格的参数预算下评估了七种架构。

本文分析了六种LLM架构在认知任务上的神经激活模式，揭示了编码器和解码器模型在注意力熵和稀疏性上的差异。