标签
本文将基于LLM的闭环通道配置搜索扩展到每周期250个候选，在CIFAR-100上展示了正向的准确率趋势和参数效率提升，并揭示了LLM生成的通道先验中的架构规律性。
本文介绍了FLITE（联邦低秩迭代训练引擎），一种联邦微调方法，通过使用冻结的仿射映射网络，从一个小型可训练潜变量和低秩可种子重生的因子分解生成权重，将每轮每客户端的通信量降至每轮1280个浮点数（约5KB）——相比于全权重FedAvg减少了8718倍。在CIFAR-100数据集上使用ResNet-18进行测试，准确率与全权重FedAvg相差在0.5个百分点以内。
TILT提出了一种新颖的目标函数，用于在协变量偏移下进行无监督域适应，该函数对未标记目标数据上的辅助组件施加惩罚，隐式实现了具有有界估计量的自定位重要性加权。理论保证和在偏移CIFAR-100上的实验表明，目标域性能优于基线方法。