在本地定期使用Bonsai 27b 1b量化版

我一直在本地使用prismml的bonsai 27b的1比特量化版进行对话、闲聊和文献回顾（我会从笔记应用里随机扔点东西进去，看它如何分析，这些文本在互联网上不存在）。我在很多情况下把它当作“导师”，比如我目前正在学习Go语言，它给出的解释相当不错。我坚信，如果我们能在保持模型90%智能的同时拥有小巧的体积，这就是未来在包括低端设备在内的广泛设备上进行本地推理的道路。我在一台16GB的MacBook Air上运行它。它的小巧体积所提供的实用性给我留下了深刻印象，希望未来能有更多模型发布。说真的，即便它不能一次性搞定超大型项目，我仍然珍视它作为一个小型本地模型所拥有的智能。