AI数字人

JoyHallo是一个数字人模型，专为普通话视频生成而设计。它通过收集来自京东健康国际有限公司员工的29小时普通话视频，创建了jdh-Hallo数据集。该数据集覆盖了不同年龄和说话风格，包括对话和专业医疗话题。JoyHallo模型采用中国wav2vec2模型进行音频特征嵌入，并提出了一种半解耦结构来捕捉唇部、表情和姿态特征之间的相互关系，提高了信息利用效率，并加快了推理速度14.3%。此外，JoyHallo在生成英语视频方面也表现出色，展现了卓越的跨语言生成能力。

metahuman-stream是一个开源的实时交互数字人模型项目，它通过先进的技术实现数字人与用户的音视频同步对话，具有商业应用潜力。该项目支持多种数字人模型，包括ernerf、musetalk、wav2lip等，并且具有声音克隆、数字人说话被打断、全身视频拼接等功能。

HeyGen Interactive Avatar是一个在线AI视频生成器，专注于创建和优化虚拟形象视频，支持实时互动。它允许用户创建一个为连续流媒体优化的虚拟形象，同时提醒用户保持头部和手部的最小动作。HeyGen的背景信息包括与Baron David和Ryan Hoover等知名人士的合作，产品目前处于Beta测试阶段，提供免费试用。