当 Fast Fourier Transform 遇见 Transformer：图像恢复（2024）
摘要
SFHformer将Fast Fourier Transform引入Transformer架构，实现高效的图像恢复，在去雨、去雾、超分辨率等十个任务上达到最先进水平。该论文被ECCV 2024接收，其扩展版本SWFormer于2025年发布。
查看缓存全文
缓存时间: 2026/05/20 14:27
网络架构
实验结果
针对不同的图像恢复任务进行了实验，包括图像去雾、图像去雨、图像去雪、图像去噪、图像超分辨率、单图像运动去模糊、散焦去模糊、图像雨滴去除、低光照图像增强和水下图像增强。
相似文章
GitHub - kallewoof/tftf: 转换Transformer——超轻量级流水线，以最小开销操作巨型Transformer模型
tftf 是一个轻量级流式流水线，用于操作 HuggingFace safetensors 模型，支持 FP8 反量化、LoRA 合并等操作，无需将完整模型加载到内存中，从而最小化 RAM 和 VRAM 开销。
Function-Space Transformer：具有自适应锚点的模型
本文提出 Function-Space Transformer（FST），一种在连续域上从函数中学习的框架。该框架将特征存储在由输入预测的锚点位置上，并通过递归的函数空间细化进行更新。FST 在 PDEBench 预测任务上优于 Perceiver IO，与 Fourier Neural Operators 表现相当，并在 ImageNet-1K 上以更少的参数超越 ViT。
PixRestore：通过像素扩散变换器实现统一图像恢复
PixRestore是一种无VAE的像素空间扩散变换器，用于统一图像恢复，通过流匹配和对抗性微调至单步生成器，实现高保真度和效率。
FastVideo/FastVideo-FastH3-四步-预览版-v1-VSA-无数据
FastVideo 发布 FastH3 预览版 v1，这是一个 AI 模型检查点，能够从文本生成同步视频和音频，使用四次 Transformer 前向传播，通过无数据 DMD2 和 VSA-H3 在 90% 稀疏度下训练。
FourierQK：对查询-键投影进行频谱预处理提升Transformer注意力
本文介绍FourierQK，一种对Transformer注意力中的学习查询和键投影应用基于FFT的频域预处理的方法，在字符级语言建模上实现了显著的验证损失降低。该方法保留了完整的注意力分数结构，并展示了相对于标准点积注意力的可复现收益。