agentic-use

作者分享了测试量化对本地LLM在智能体使用中的影响的结果，发现许多量化版本在统计上无法区分，MoE模型受量化影响小于密集模型，而在Q4量化以下会出现显著性能下降。