parallel-constrained-decoding

标签

#parallel-constrained-decoding

harshatheg/Qwen-2.5-1B-RLCD

Hugging Face Models Trending ↗ · 2天前缓存

这是一个基于 Apple Silicon 和 MLX 的高吞吐量推理引擎，专用于结构化信息提取，支持并行约束解码，可将延迟降低 5.6 至 7.0 倍，并实现 100% 的模式有效性。

0 人收藏 0 人点赞