asymmetric-quantization

一条推文讨论了延迟交互模型的存储问题，并分享了关于分层池化和非对称量化技术的有趣结果。

Mixedbread Search 引入了非对称量化用于后期交互检索，通过将文档向量存储为二进制符号，同时保持查询向量为更高精度，实现了近无损质量且存储减少97%。

Mixedbread AI 引入了用于后期交互检索的非对称量化技术，通过将文档向量存储为二进制符号同时保持查询向量高精度，实现了32倍的存储缩减且质量损失极小，使得后期交互在十亿级生产系统中变得实用。