nvidia-4080-super

#nvidia-4080-super

@ciruai：终于，在智能模型上为16GB显卡实现了256k上下文，并且速度飞快！使用4080 Super 16GB，我向您展示如何获取完整…

X AI KOLs Timeline ↗ · 17小时前缓存

演示如何使用Ternary Bonsai 27B Q2_0模型和llama.cpp在16GB RTX 4080 Super上实现256k上下文，生成速度高达141 tok/s。

0 人收藏 0 人点赞