fp8-quantization

标签

Cards List
#fp8-quantization

@NVIDIARTXSpark:想要在你的 NVIDIA DGX Spark 上获得更高的每秒 token 数?探索三种加速 MoE 推理的技术,从优化内核…

X AI KOLs Following ↗ · 2026-10-29 缓存

@NVIDIARTXSpark 分享了三种加速 NVIDIA DGX Spark 上混合专家模型(MoE)推理的技术,涵盖优化内核、FP8 量化和多 token 预测,以提升每秒 token 吞吐量。

0 人收藏 0 人点赞
#fp8-quantization

提升 NVIDIA DGX Spark 上 MoE 推理性能的 3 种方法

Reddit r/LocalLLaMA ↗ · 2026-10-28 缓存

NVIDIA 的这篇技术博客介绍了在 DGX Spark 上加速 Ling-3.0-flash 混合专家(MoE)模型推理的三种优化技术:Humming MXFP4 MoE 内核、语言模型输出头的在线 FP8 量化,以及基于 NEXTN 的多词元预测投机解码,并分析了组合配置下的集成问题。

0 人收藏 0 人点赞
#fp8-quantization

@dealignai:DeepSeek v4.1 Flash 1017 完全无审查版。不用廉价的系统提示、不用廉价的模板技巧、不用 LoRA 或运行时的那些把戏、不做 SFT……

X AI KOLs Following ↗ · 2026-10-18 缓存

dealignai 发布了 DeepSeek V4.1 Flash 1017 的「完全无审查」版本,通过移除拒答行为实现,同时尽可能保留模型原有能力,包括视觉、视频、工具调用、推理档位和 1M token 上下文。该版本采用原生 FP8 (e4m3) 权重与 FP4 MoE 专家,没有模板越狱或系统提示类的取巧手段。

0 人收藏 0 人点赞
#fp8-quantization

面向LLMs的全流水线FP8强化学习

Hugging Face Daily Papers ↗ · 2026-09-19 缓存

本文提出校准裁剪方法,通过将FP8裁剪界限与高精度分布对齐,来稳定LLMs强化学习中的FP8量化,消除熵激增并恢复性能。

0 人收藏 0 人点赞
#fp8-quantization

dealignai/GLM-5.3-CYBERSECURITY-FP8

Hugging Face Models Trending ↗ · 2026-08-30 缓存

dealignai released a cybersecurity-focused weight-modified variant of the 753B-parameter GLM-5.3-FP8 model that reduces refusals for offensive-security tasks such as red-teaming, exploit development, and malware analysis while preserving base capabilities and running natively on Hopper GPUs via stock vLLM.

0 人收藏 0 人点赞
#fp8-quantization

Qwen/Qwen3.8-Flash-Next-FP8

Hugging Face Models Trending ↗ · 2026-08-24 缓存

本文发布了Qwen3.8-Flash-Next模型的FP8量化权重,介绍了如混合注意力机制(Hybrid Attention with QSA)、门控残差(Gated Residual)和N-gram嵌入(N-gram Embedding)等架构创新,以提高大型语言模型的效率。

0 人收藏 0 人点赞
#fp8-quantization

@shangdu2005: 比上个版本更加无敌的。 Qwen3.8 27B越狱无审查版本。 这两个自行测试,谨慎使用。 1.orcarouter https://huggingface.co/orcarouter/Qwen3.8-27B-Uncensored-FP8…

X AI KOLs Timeline ↗ · 2026-08-17 缓存

本文介绍了一个未审查的Qwen3.8 27B AI模型,该模型经过修改以移除安全限制,并量化为FP8以提高效率,适用于研究目的。

0 人收藏 0 人点赞
#fp8-quantization

orcarouter/Qwen3.8-27B-无审查-FP8

Hugging Face Models Trending ↗ · 2026-08-15 缓存

这是Qwen3.8-27B的修改版本,移除了安全拒绝机制并进行了FP8量化,专为AI安全性和可解释性研究设计。

0 人收藏 0 人点赞
#fp8-quantization

Qwen/Qwen3.8-2.4T-A95B-FP8

Hugging Face Models Trending ↗ · 2026-08-08 缓存

Qwen releases FP8-quantized weights for Qwen3.8-2.4T-A95B, a 2.4T-parameter MoE model with 95B activated parameters, claiming Qwen-Max-class capability in an open release with strong coding, agentic, and long-context performance.

0 人收藏 0 人点赞
#fp8-quantization

@iotcoi:Qwen3.6-27B-FP8 + Dflash + DDTree,256k 上下文,10 个智能体,单颗 49W GB10 上峰值 200 tokens/s,平均解码 136 tokens/s

X AI KOLs Timeline ↗ · 2026-04-22 缓存

量化版 27B Qwen3.6 在单颗 49W GB10 GPU 上借助 Dflash+DDTree 优化,256k 上下文、10 智能体并发,峰值达 200 tok/s,平均 136 tok/s。

0 人收藏 0 人点赞
#fp8-quantization

Qwen/Qwen3.6-27B-FP8

Hugging Face Models Trending ↗ · 2026-04-21 缓存

阿里巴巴发布 Qwen3.6-27B-FP8,一款 27B 参数的 FP8 量化模型,在代理式编码与推理基准上表现强劲,现已上架 Hugging Face。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈