这简直是更高境界的 VFX 现实感知渲染
摘要
Simulon 在 iPhone 上推出现实感知渲染功能，让用户能够通过手机放置神经资产、演绎场景，再由应用重新生成拍摄片段，使资产能够对动作、语音和周围环境作出反应。安卓版也已列入发布计划。
在 Instagram 上看到的：Simulon 推出现实感知渲染，这是一种利用现实世界进行创作的全新方式。用手机放置神经资产，然后演绎场景。停止录制后，Simulon 会渲染这段镜头，解读其中的一切（你的动作、你说的话以及周围的环境），而你的资产会对这一切作出响应。最终成片根据你的录制内容重新生成：这是对场景的一次全新演绎，而非原始影像的复制。现已登陆 iPhone，即将支持 Android。https://www.instagram.com/simulon\_
相似文章
Niantic Spatial、Flexion 和 NVIDIA：弥合人形机器人的 Sim2Real 差距
Niantic Spatial、Flexion 和 NVIDIA 展示了基于数字孪生和强化学习的人形机器人 sim2real 流程，实现了从仿真到真实办公室导航的零样本迁移。
我构建了一个专注于电影真实感的AI视频生成器，而非典型的“AI风格”
ReelVision AI 是一款全新的AI视频生成器，专注于电影真实感、真实运动、照明、音效和连续性。目前处于测试阶段，创建者希望获得创作者和电影制作人的反馈。
本地iPhone AI图像生成正变得实用 - 每张图片仅需3秒
基准测试显示，在iPhone上本地运行Stable Diffusion 1.5，使用Realistic Vision V5.1 Hyper等优化模型，生成512x512图像最快仅需3.1秒，使得设备端AI图像生成变得切实可行。
Image2Sim: 通过生成式神经模拟器实现具身导航规模化
Image2Sim是一个神经模拟框架，它能从RGB-D图像创建高保真交互环境，为具身导航智能体提供可扩展的训练。该框架生成了近20K场景和超过1000万训练样本，在基准测试上展现了显著改进，并实现了有效的真实世界零样本迁移。
@yoheinakajima: 这东西太酷了
Marc在VisionCamera中演示了利用DINOv2和Apple Vision框架的深度感知光注入，并通过react-native-webgpu实现了实时渲染。