在12GB显存预算下实现真正的本地代理编码。

Reddit r/LocalLLaMA 新闻
agentic-coding local-inference quantization qwen-model vram-budget coding-productivity ai-tools

摘要

本文描述了一个实用的设置，用于在12GB显存GPU上运行本地代理编码，使用量化后的Qwen 3.8 27B模型，并通过OpenCode和Magic Context等工具进行上下文管理，实现高效性能。

得益于Unsloth Dynamic 3.0量化版本更加精简且保留效果更好，我选择了Qwen 3.8 27B (`UD_Q4_K_XL`) 在100K上下文下作为Hermes Agent和OpenCode的日常主力。在配备RTX 5070 Ti Mobile (12GB)、Intel Core Ultra 9 275HX和32GB DDR5的系统上，此配置持续提供约9–11 t/s的解码速度和400–550 t/s的预填充速度。速度足以保持生产力。Qwen 3.8 27B的主要瓶颈是其推理冗长性：它经常在规划阶段就超出100K令牌，迫使OpenCode进入原生上下文压缩。由于OpenCode内置的压缩在保留方面表现不佳，我切换到了Magic Context。启用Magic Context后，会话已处理超过370万总令牌，且未丢失关键细节或偏离轨道。在一个复杂的个人项目中，本地模型端到端地交付了两个主要功能。我仍然使用Claude Opus进行最终的PR审查，以捕捉边缘情况和小错误，然后Qwen在本地无问题地修复它们。 硬件规格： GPU: RTX 5070 Ti Mobile (12GB显存) CPU: Core Ultra 9 275HX RAM: 32GB DDR5 Llama.cpp启动参数： llama-server \ -ctx 98304 -ub 512 -np 1 -ngl 99 \ -ot 'blk.(0|1|2|3|4|5|6|7|8|9|10|11|12|13|14|15|16|17|18|19|20|21|22|23|24|25|26|27|28|29|30|31|32|33|34|35|36|37|38|39|40|41|42|43|44|45|46|47|48|49|50|51|52|53|54|55|56|57|58|59|60|61|62|63|64).ffn_(gate|up|down).weight=CPU' \ -fa on -ctk q8_0 -ctv q8_0 -fit off \ --mmproj --no-mmproj-offload \ --spec-type draft-mtp --spec-draft-n-max 2 \ -ctkd q8_0 -ctvd q8_0 --load-mode 'none' \ --temp 1 --top-k 20 --top-p 0.95 --min-p 0 \ --repeat-penalty 1 --presence-penalty 0 \ --jinja -chat-template-kwargs '{"reasoning_effort": "xhigh"}' \ --reasoning preserve
查看原文

相似文章

在32GB显存上以Q8量化使用Qwen3.6-27，接近100K上下文

Reddit r/LocalLLaMA

用户分享了他们在拥有32GB显存的RTX 5090上，使用Q8量化的Qwen3.6-27B模型尝试达到115K上下文长度的配置与实验过程，并给出了基准测试结果，以及上下文长度与kv-cache量化之间的权衡。