标签
本文探讨了在语言模型中使用QLoRA时，事实知识获取与能力保留之间的权衡，表明更高秩的QLoRA改善了事实学习，但可能降低域外性能。
作者分享了对AI与基础设施之间关系的个人见解，认为AI在放大执行力的同时，无法替代人类在复杂trade-off和组织问题上的判断，并以自身使用Fable 5等模型开发cocoon/sandbox项目的经验为例进行说明。