在 GTX 1650 上为 Minecraft 实现实时神经网络天气风格迁移(140 万参数 U-Net,从 FLUX.2 klein 蒸馏而来,在入门级 GPU 上实时运行 30-40 FPS)[P]
摘要
一个从 FLUX.2 klein 蒸馏而来的 140 万参数 U-Net 学生模型,在 GTX 1650 入门级显卡上的 Minecraft Fabric mod 中,实现实时 30-40 FPS 的神经网络天气风格迁移(雪景、湿润、夜晚),通过 PatchGAN 微调修复了纯像素损失导致的输出泛白问题。
教师模型:FLUX.2 klein 4B 生成约 3000 帧(雪景/湿润/夜晚,各 3 种强度)。学生模型:140 万参数的 U-Net,带 FiLM 滑块,512×288 分辨率,通过 ONNX Runtime 在 Fabric mod 中运行,每帧约 26 毫秒;HUD 保持不变。纯像素损失(L1+MSE)产生了泛白的"平均"效果,因为教师模型在不同帧中放置雪花和水洼的位置各不相同。在相同数据对上使用 PatchGAN 进行微调解决了这个问题:雪花更加饱满,反射效果更加逼真。失败案例:夜晚(教师模型画出了日落)、已经是雪景的生物群系(训练数据中从未出现)。欢迎交流细节。
相似文章
GLM 5.3 Flash 在本地4x RTX PRO 6000 WS上打造黑洞Minecraft模组
一位用户展示了使用GLM 5.3 Flash——一个在4x RTX PRO 6000硬件上运行的本地AI模型——通过Fabric API迭代开发Minecraft黑洞步枪模组,最终生成了一个功能齐全且视觉效果惊人的模组,并在GitHub上分享。
将任意图像转化为可玩游戏的深度神经网络!全部在消费级GPU上运行,而非数据中心
作者介绍了一个小型基于Transformer的神经网络,从零开始训练,能够将任意图像转化为可玩游戏,在RTX 5090等消费级GPU上实时运行。该模型使用自回归解码和KV缓存,但目前存在运动和上下文问题。
Genie风格的可交互世界模型,在单个5090上以19GB显存运行720p分辨率、16FPS
ABot-World-0是一个实时交互的世界模型,在单个NVIDIA RTX 5090 GPU上以19GB显存实现了720p分辨率、16FPS的视频生成,支持无限的动作条件世界展开,用于模拟和AI研究。
本地 AI 世界模型 第二部分 - 将图像变成可操作角色的深度神经网络,支持生成过程中切换文本提示
一位独立研究者分享了他的本地 AI 世界模型第二部分:一个约 960M 参数的 transformer,使用 diffusion forcing 和文本交叉注意力,在 RTX 5090 上以 30-60 FPS 运行,接受实时 WASD 操作,并支持在生成中途切换文本提示(例如"给沙漠加一个池塘")。
DreamForge-World 0.1 预览版:低算力实时可控世界模型
DreamForge-World 0.1 预览版是一个低算力世界模型,可在消费级GPU上实现实时交互模拟,支持键盘/鼠标控制,在单个RTX 4090上以480p分辨率达到14-15 FPS。