标签
我们提出 TWIG（具有继承门控的树结构权重），这是一种将每个神经网络权重表示为一条共享离散决策路径终点的表示方法，将剪枝、量化、低秩分解和权重共享统一为一个可编辑对象，并可通过高阶玻尔兹曼机基态求解器进行优化。在大语言模型层误差相同的情况下，其加法运算次数比 GPTQ 减少 9–15%。