AI视频生成

Vmotionize是一个领先的AI动画和3D动画软件，它能够将视频、音乐、文本、图片等内容转换成令人惊叹的3D动画。该平台通过先进的AI动画和动作捕捉工具，使得高质量的3D内容和动态图形更加易于获取。Vmotionize通过创新的方式为独立创作者和全球品牌提供了一个全新的平台，让他们可以共同通过人工智能和人类想象力来实现创意、分享故事和构建虚拟世界。

Dynamic Typography是一个自动化的文本动画方案，它结合了语义传达和动态运动两个挑战性任务。该技术利用矢量图形表示和端到端的优化框架，通过神经位移场将字母转换为基础形状，并应用每帧运动，以增强与预期文本概念的一致性。通过形状保持技术和感知损失正则化，在动画过程中保持可读性和结构完整性。我们的方法在各种文本到视频的模型中展示了通用性，并突出了我们端到端方法的优越性，该方法可能包括单独的任务。通过定量和定性评估，我们证明了我们的框架在生成连贯的文本动画方面的有效性，这些动画忠实地解释了用户提示，同时保持了可读性。

Stable Video 3D是Stability AI推出的新模型，它在3D技术领域取得了显著进步，与之前发布的Stable Zero123相比，提供了大幅改进的质量和多视角支持。该模型能够在没有相机条件的情况下，基于单张图片输入生成轨道视频，并且能够沿着指定的相机路径创建3D视频。

Media2Face是一款通过音频、文本和图像多模态引导的共语言面部动画生成工具。它首先利用通用神经参数化面部资产（GNPFA）将面部几何和图像映射到高度通用的表情潜在空间，然后从大量视频中提取高质量的表情和准确的头部姿态，构建了M2F-D数据集。最后，采用GNPFA潜在空间中的扩散模型进行共语言面部动画生成。该工具不仅在面部动画合成方面具有高保真度，还拓展了表现力和样式适应性。

4D-fy是一种文本到4D生成方法，通过混合分数蒸馏采样技术，结合了多种预训练扩散模型的监督信号，实现了高保真的文本到4D场景生成。其方法通过神经表示参数化4D辐射场，使用静态和动态多尺度哈希表特征，并利用体积渲染从表示中渲染图像和视频。通过混合分数蒸馏采样，首先使用3D感知文本到图像模型（3D-T2I）的梯度来优化表示，然后结合文本到图像模型（T2I）的梯度来改善外观，最后结合文本到视频模型（T2V）的梯度来增加场景的运动。4D-fy可以生成具有引人入胜外观、3D结构和运动的4D场景。

LiveSketch是一种将动画效果添加到手绘草图的工具。它可以根据文本提示自动生成矢量动画，让草图栩栩如生。该工具不需要复杂的训练，通过预训练的文本到视频模型来指导笔触的运动。它适用于设计师、动画师等需要给草图添加动画效果的用户。动画绘画可以在网站上使用。

MCVD是一种用于视频生成、预测和插值的通用模型，使用基于分数的扩散损失函数生成新颖的帧，通过将高斯噪声注入当前帧并对过去和/或未来帧进行条件去噪，通过随机屏蔽过去和/或未来帧进行训练，实现无条件生成、未来预测、过去重建和插值四种情况的处理。该模型使用2D卷积U-Net，通过串联或时空自适应归一化对过去和未来帧进行条件处理，产生高质量和多样化的视频样本，使用1-4个GPU进行训练，能够扩展到更多通道。MCVD是一种简单的非递归2D卷积架构，能够生成任意长度的视频样本，具有SOTA的结果。

Story-to-Motion是一个全新的任务，它接受一个故事（顶部绿色区域）并生成与文本描述相符的动作和轨迹。该系统利用现代大型语言模型作为文本驱动的运动调度器，从长文本中提取一系列（文本、位置）对。它还开发了一个文本驱动的运动检索方案，结合了经典运动匹配和运动语义以及轨迹约束。此外，它设计了一个渐进式掩蔽变换器，以解决过渡动作中常见的问题，如不自然的姿势和滑步。该系统在轨迹跟随、时间动作组合和动作混合等三个不同子任务的评估中表现优异，胜过以往的动作合成方法。