在 GTX 1650 上为 Minecraft 实现实时神经网络天气风格迁移(140 万参数 U-Net,从 FLUX.2 klein 蒸馏而来,在入门级 GPU 上实时运行 30-40 FPS)[P]

Reddit r/MachineLearning 论文

摘要

一个从 FLUX.2 klein 蒸馏而来的 140 万参数 U-Net 学生模型,在 GTX 1650 入门级显卡上的 Minecraft Fabric mod 中,实现实时 30-40 FPS 的神经网络天气风格迁移(雪景、湿润、夜晚),通过 PatchGAN 微调修复了纯像素损失导致的输出泛白问题。

教师模型:FLUX.2 klein 4B 生成约 3000 帧(雪景/湿润/夜晚,各 3 种强度)。学生模型:140 万参数的 U-Net,带 FiLM 滑块,512×288 分辨率,通过 ONNX Runtime 在 Fabric mod 中运行,每帧约 26 毫秒;HUD 保持不变。纯像素损失(L1+MSE)产生了泛白的"平均"效果,因为教师模型在不同帧中放置雪花和水洼的位置各不相同。在相同数据对上使用 PatchGAN 进行微调解决了这个问题:雪花更加饱满,反射效果更加逼真。失败案例:夜晚(教师模型画出了日落)、已经是雪景的生物群系(训练数据中从未出现)。欢迎交流细节。
查看原文

相似文章