苹果发布 AI 生成模型 GAUDI，文字生成 3D 场景

AI科技大本营 | 2022-08-19 08:12:06 阅读：280

整理 | 禾木木出品 | AI科技大本营（ID:rgznai100）前有DALL.E文本生成图像，现有将文字变成 3D场景。近日，苹果 AI 团队发布最新 AI 模型 GAUDI，它是基于 3D 场景的神经架构 NeRFs，可以根据文字生成 3D 室内场景。

目前为止，NeRFs 主要用做 3D 模型和 3D 场景的一种神经存储介质，然后可以从不同的相机视角进行渲染。

最新 AI 系统 GAUDI
如果说 NeRFs 从不同角度逼真地渲染图像的能力可以用于生成 AI 呢？此前，OpenAI 的 DALL-E 2 或 Google 的 Imagen 和 Parti 等 AI 系统展示了 AI 将文本生成图像的潜力，但内容也仅限于 2D 图像和图形。2021 年末时，谷歌通过 Dream Fields 首次展示了 3D AI 生成系统，将 NeRF 生成 3D 视图的能力与 OpenAI 的 CLIP 评估图像内容的能力相结合。苹果 AI 团队发布的 GAUDI 是一种能够生成沉浸式 3D 场景的神经架构，可以根据文字提示创建 3D 场景。

例如，输入“穿过走廊”或“上楼梯”，就可以看到执行这一动作的 3D 场景视频。

Apple GAUDI 是 3D 内饰专家

虽然谷歌致力于使用 Dream Fields 生成单个对象，但将生成 AI 扩展到完全不受约束的 3D 场景仍是一个尚未解决的问题。这背后极有可能的原因之一是摄像机位置的限制。虽然对于单个对象，每个摄像机位置都可以映射到一个圆顶，但在 3D 场景中，这些摄像机位置会受到对象和墙壁等障碍物的限制。对于这个问题，GAUDI 模型的解决方案是：相机姿态****对可能的相机位置进行预测，并确保输出是 3D 场景架构的有效位置。场景的场景****预测三平面表示，这是一种 3D 画布，辐射场****在其上使用体积渲染方程绘制后续图像。在对四个不同数据集（包括室内扫描数据集 ARKitScences）的实验中，研究人员表明 GAUDI 可以重建学习视图并匹配现有方法的质量。虽然现在 GAUDI 生成的 3D 场景视频质量还不是很高，但这也说明了 AI 在图像和视频技术这生成的另一种可能。参考链接：https://mixed-news.com/en/apples-new-gaudi-ai-turns-text-prompts-into-3d-scenes/

*博客内容为网友个人发布，仅代表博主个人观点，如有侵权请联系工作人员删除。