streaming-inference

本文介绍了一种增量式字节对编码（BPE）分词算法，该算法处理每个字节的时间复杂度为 O(log^2 t)，支持流式场景下的高效部分分词，并相比现有实现实现了加速。

Dolphin-CN-Dialect 是一款支持流式处理的 ASR 模型，通过基于温度的采样策略和重新设计的词元化方案提升了方言识别能力，在更小的模型规模下实现了具有竞争力的性能。

LingBot-Map 是一个前馈式 3D 基础模型，用于流式 3D 重建，采用几何上下文转换器架构，在超过 10,000 帧的长序列上实现最先进的性能，并具有高效的 ~20 FPS 推理速度。