标签
Pico-type是一个1.5M参数的字节级多头分类器，可在单次前向传播中从原始UTF-8字节预测七种内容属性，旨在以最小资源实现高效的设备上推理。
他们发布了一个统一的多头安全分类器（mmBERT-small编码器，七个头），使用掩码损失处理缺失任务标签，在七个任务上取得了高F1分数，同时还发布了量化的ONNX INT8变体。权重和指标已公开。
本文指出记忆保留是长上下文场景下循环记忆代理的瓶颈，并提出多头循环记忆（MHM），这是一种无需训练的框架，通过“先选择后更新”策略将记忆划分为独立的头。轻量级实例化版本 MHM-LRU 显著提升了 100K 至 1M token 范围内的记忆保留率和端到端准确率，在 896K token 的 RULER-HQA 上，将记忆保留率从低于 30% 提升至 73.96%。