nvidia-gpu

标签

Cards List
#nvidia-gpu

本地压缩的助益

Reddit r/AI_Agents ↗ · 2026-05-22

一位用户分享了一个技巧:在代理工作流程中使用 Ollama 本地的 llama3.1:8b 模型压缩对话上下文,相较于将上下文发送给提供商,能降低延迟并减少 token 使用量。

0 人收藏 0 人点赞
#nvidia-gpu

构建9254修复了我的TG回归问题,并为NVIDIA GPU添加了PDL支持

Reddit r/LocalLLaMA ↗ · 2026-05-20

llama.cpp的构建9254修复了一个token生成回归问题,并添加了对NVIDIA GPU的PDL(程序化依赖启动)支持,在新硬件上token生成速度提升高达10%。

0 人收藏 0 人点赞
← Previous
← 返回首页

提交意见反馈