AI 3D工具

GameGen-O 是首个为生成开放世界视频游戏而定制的扩散变换模型。该模型通过模拟游戏引擎的多种特性，如创新角色、动态环境、复杂动作和多样化事件，实现了高质量、开放领域的生成。此外，它还提供了交互式可控性，允许游戏玩法模拟。GameGen-O 的开发涉及从零开始的全面数据收集和处理工作，包括构建首个开放世界视频游戏数据集（OGameData），通过专有的数据管道进行高效的排序、评分、过滤和解耦标题。这个强大且广泛的 OGameData 构成了模型训练过程的基础。

VideoDoodles是一个交互式系统，它通过让用户在3D场景中放置平面画布，然后对这些画布进行追踪，以简化视频涂鸦的创作过程。这种技术允许手绘动画在视频中具有正确的透视变形和遮挡效果，并且能够随着摄像机和其他场景中的对象移动而移动。该系统支持用户通过2D图像空间UI精细控制画布，通过关键帧设置位置和方向，并自动插值关键帧以追踪视频中移动对象的运动。

Stable Video 4D是Stability AI最新推出的AI模型，它能够将单个对象视频转换成八个不同角度/视图的多个新颖视图视频。这项技术代表了从基于图像的视频生成到完整的3D动态视频合成的能力飞跃。它在游戏开发、视频编辑和虚拟现实等领域具有潜在的应用前景，并且正在不断优化中。

SpatialTracker 是 CVPR 2024 年亮点之一的一项研究成果，致力于在 3D 空间中恢复视频中密集的像素运动。该方法通过将 2D 像素提升到 3D 空间，使用三平面表示表示每一帧的 3D 内容，并迭代更新转换器来估计 3D 轨迹。在 3D 中跟踪允许我们利用刚性约束，同时学习一个刚性嵌入，将像素聚集到不同的刚性部分中。与其他追踪方法相比，SpatialTracker 在质量和量度方面都取得了优异的成绩，尤其是在具有出平面旋转的具有挑战性的情况下。

SceneScript是Reality Labs研究团队开发的一种新型3D场景重建技术。该技术利用AI来理解和重建复杂的3D场景，能够从单张图片中创建详细的3D模型。SceneScript通过结合多种先进的深度学习技术，如半监督学习、自监督学习和多模态学习，显著提高了3D重建的准确性和效率。

Meshy-2是我们3D生成AI产品系列的最新成员，距离Meshy-1发布已经过去三个月。这个版本在Text to 3D领域有着巨大的飞跃，为3D对象提供更好结构的网格和丰富的几何细节。在Meshy-2中，Text to 3D提供了四种风格选择：真实、卡通、低多边形和Voxel，以满足各种艺术偏好并激发新的创意方向。我们提高了生成速度，不影响质量，预览时间约为25秒，精细结果在5分钟内完成。此外，Meshy-2引入了用户友好的网格编辑器，具有多边形数量控制和四边形网格转换系统，以提供更多3D项目中的控制和灵活性。Text to Texture功能经过优化，以更清晰的效果呈现纹理，速度提高一倍。Image to 3D的增强功能在2分钟内生成更高质量的结果。我们正在将重心从Discord转移到Web应用，鼓励用户在Web应用社区中分享AI生成的3D艺术。

传统的3D内容创作工具赋予用户直接控制场景的几何形状、外观、动作和摄像机路径，从而将他们的想象变为现实。然而，创建计算机生成的视频是一个繁琐的手动过程，可以通过新兴的文本到视频扩散模型实现自动化。尽管前景广阔，视频扩散模型难以控制，限制了用户应用自己的创造力，而不是放大它。为了解决这一挑战，我们提出了一种新颖的方法，将动态3D网格的可控性与新兴扩散模型的表现力和可编辑性相结合。为此，我们的方法以动画化的低保真度渲染网格作为输入，并将从动态网格获得的地面真实对应信息注入预训练的文本到图像生成模型的各个阶段，以输出高质量和时间一致的帧。我们在各种示例上演示了我们的方法，其中动作可以通过对绑定资产进行动画化或改变摄像机路径来获得。