together-ai

Together AI 开源了 OSCAR，一种注意力感知的 2 位 KV 缓存量化系统，通过根据注意力重要性重新分配量化误差，实现了高效的长上下文 LLM 服务。