AI模型推理训练

SMPLer-X是一种基于大数据和大模型的人体姿态和形状估计模型，能够统一捕捉身体、手和面部的运动，并具有广泛的应用。该模型通过对32个不同场景的数据集进行系统研究，优化训练方案并选择数据集，从而实现了对EHPS能力的显著提升。SMPLer-X采用Vision Transformer进行模型扩展，并通过微调策略将其转化为专家模型，从而进一步提高性能。该模型在多个基准测试中均表现出色，如AGORA（107.2 mm NMVE）、UBody（57.4 mm PVE）、EgoBody（63.6 mm PVE）和EHF（62.3 mm PVE without finetuning）。SMPLer-X的优势在于能够处理多样化的数据源，具有出色的泛化能力和可迁移性。

DreamLLM是一个学习框架，首次实现了多模态大型语言模型（LLM）在多模态理解和创作之间的协同效应。它通过直接在原始多模态空间中进行采样，生成语言和图像的后验模型。这种方法避免了像CLIP这样的外部特征提取器所固有的限制和信息损失，从而获得了更全面的多模态理解。DreamLLM还通过建模文本和图像内容以及无结构布局的原始交叉文档，有效地学习了所有条件、边缘和联合多模态分布。因此，DreamLLM是第一个能够生成自由形式交叉内容的MLLM。全面的实验证明了DreamLLM作为零样本多模态通才的卓越性能，充分利用了增强的学习协同效应。

DINOv2 是一种无监督学习的自我监督学习方法，可以生成高性能的视觉特征，适用于计算机视觉任务。它不需要微调，具有稳健性和跨领域性能。

CelebV-Text是一个大规模、高质量、多样化的人脸文本-视频数据集，旨在促进人脸文本-视频生成任务的研究。数据集包含70,000个野外人脸视频剪辑，每个视频剪辑都配有20个文本，涵盖40种一般外观、5种详细外观、6种光照条件、37种动作、8种情绪和6种光线方向。CelebV-Text通过全面的统计分析验证了其在视频、文本和文本-视频相关性方面的优越性，并构建了一个基准来标准化人脸文本-视频生成任务的评估。