问题: UkisAI Swift Ternary Bonsai 2 27B?

Reddit r/LocalLLaMA 模型
ai model-improvement qwen bonsai community-feedback quantization token-usage

摘要

Jovan 来自 UkisAI，讨论了他们 Swift Qwen3.8 27B 模型的改进，并寻求社区反馈以创建 Bonsai 2 的 Swift 版本，以解决过度思考循环和高令牌使用问题。

社区大家好，我是来自 UkisAI 的 Jovan，我们是 Swift Qwen3.8 27B 背后的团队，这个 Qwen 模型改进了令牌使用和过度思考错误。我们估计可以对 Bonsai 2 进行大幅改进，因为我们的测试表明它深受过度思考循环和高令牌使用的影响，从而影响其性能。我想问你们：你们是否希望有一个 Bonsai 2 的 Swift 版本？如果是，哪个尺寸最相关？1 位、2 位还是两者都要？感谢大家对 Swift 的精彩反馈。我们很高兴你们喜欢它。我们的下载量一夜之间从 10 万跳到了 15 万（包括社区量化）。为了提供上下文，这是我们的模型：https://www.reddit.com/r/LocalLLaMA/s/iCIbhxO8ue https://huggingface.co/ukisai/Swift-Qwen3.8-27B-GGUF
查看原文

相似文章

ukisai/Swift-Qwen3.8-27b

Hugging Face Models Trending

Swift-Qwen3.8-27B 是 UkisAI 基于 Qwen3.8-27B 开发的推理高效版本，可将思考令牌减少 58.3%，同时保持几乎相同的性能。

Prism-ML Bonsai Qwen 3.6 27B

Reddit r/LocalLLaMA

Prism ML 发布了 Ternary-Bonsai-27B，这是 Qwen3.6-27B 的三元量化版本，在约 7.2 GB 的占用下保留了 FP16 智能的 95%，能够在笔记本电脑和单 GPU 上实现完整的 27B 级推理，在 Apple M5 Pro 上速度可达 26 tok/s。