标签
本技术报告探讨了在Transformer块中为大型语言模型的查询/键/值投影添加轻量级深度可分离卷积，提供局部归纳偏置，以极小的参数成本提高下游任务准确性。
介绍 ITNet，一种基于可学习积分变换的神经网络架构，统一了卷积、注意力与递归，在多种模态上取得了强劲结果。