标签
本文介绍了一种用于3M参数Transformer的训练好的快速权重记忆机制，该机制在推理时通过仅前向传播的测试时训练安装从未训练过的规则，且不产生任何迁移。该工作可在单块RTX 3090上完全复现。
FAAST提出了一种前馈方法，通过解析方式将标注样本编译为快速权重，无需反向传播即可实现高效的测试时监督适应，在保持性能的同时提升90%以上的速度和节省95%的内存。