MultiTalk

Multitalk 是一个由多个人物驱动的音频驱动多人物对话视频生成系统。它能够根据音频输入、参考图像和提示生成包含互动、对话、唱歌和卡通角色的视频内容。该系统支持单人或多人物生成、交互式虚拟人物控制、卡通角色生成、分辨率灵活性（480p 和 720p）以及长达 15 秒的视频生成。

• MultiTalk官网入口网址：https://meigen-ai.github.io/multi-talk/
• MultiTalk开源项目地址：https://github.com/MeiGen-AI/MultiTalk

Multitalk 的核心创新在于其音频驱动的多人物对话视频生成框架，能够根据多路音频输入、参考图像和提示生成符合音频内容的唇部动作和互动视频。该系统支持多种优化技术，如 INT8 量化、SageAttention、TeaCache 加速、多 GPU 推理、低 VRAM 推理等，以提升性能和效率。

Multitalk 的开发团队由多位研究人员组成，包括 Zhe Kong、Feng Gao、Yong Zhang 等，他们在人工智能、计算机视觉和多媒体生成领域具有深厚的专业背景。该项目已发布在 Hugging Face、GitHub 和 Replicate 平台，并提供了详细的模型下载、推理代码和使用示例。

Multitalk 的目标是推动多人物对话视频生成技术的发展，为虚拟人物、娱乐、教育和内容创作等领域提供强大的技术支持。其开源模型和工具的开放性，也为研究者和开发者提供了丰富的资源和灵活性。

Multitalk 的官方网站和项目页面提供了详细的文档、模型下载、使用指南和社区支持，是研究和应用该技术的重要资源。