标签
本文介绍了spec learning，一个将少量偏好判断编译为自然语言规范的框架，在推理时调节LLM，无需更新模型参数即可在专业领域上优于DPO。
一则讨论如何在llama.cpp中释放GPU内存实用技巧的帖子，例如将mmproj卸载到CPU、调整KV缓存类型，同时讨论了--cache-type-k/v和--spec-draft-n-max等参数。