标签
作者的红黑树实现在一种用于Wasm GC的新语言中，在速度和内存使用上与原生C相匹配，并计划发布代码库。
RadixArk/Qwen3.8-Flash-Next-NVFP4 现已在 SGLang-V100 中得到支持，使得在 4xV100 GPU 上能够进行全上下文操作，性能指标显示高吞吐量，上下文处理能力高达 256k tokens。
本文深入探讨了检索增强生成（RAG）和向量搜索，基于10万份文档的基准测试，展示了精确搜索与IVF索引在速度和召回率之间的权衡。
Ornith-1.0-35B GGUF 模型更新引入了原生 MTP 推测解码嫁接，可在单 GPU 上实现更快推理，解码速度提升约 1.3-1.35 倍，同时保持几乎相同的 token 分布。提供了多个量化版本的吞吐量、TTFT 和长上下文性能的基准数据。
像DeepSeek和Qwen这样的中国AI模型，以比西方同类产品低5至20倍的成本提供有竞争力的性能，正在重塑AI经济学并推动多模型部署策略。