Magic Avatar

MagicEdit是字节发表的视频剪辑方法，这是一个多模态框架，是一款主打多模态输入生成的多模态框架，可以将文本、视频和音频等不同输入方式转化为动作信号，从而生成和动画化一个虚拟人物。

具体来说，MagicAvatar可以通过简单的文本提示来创建虚拟人物，也可以根据源视频生成跟随给定动作的虚拟人物。此外，MagicAvatar还可以对特定主题的虚拟人物进行动画化。它还将在未来推出根据音频输入创建虚拟人物的功能。

与直接生成视频的方式不同，MagicAvatar明确地将视频生成分为两个阶段：

（1）多模式信息到motion

（2）motion到video。

第一阶段将多模式输入转换为motion信息（例如，人体姿势、深度、密度），而第二阶段生成由这些motion信号引导的video。

MagicAvatar通过简单地提供几个目标人物的图像来生成视频。我们通过各种应用程序展示了MagicAvatar的灵活性，包括文本引导和视频引导的化身生成，以及多模式化身动画。

MagicEdit还支持多种编辑应用，包括视频风格化、局部编辑、视频混合（Video-MagicMix等功能。视频风格化就是能够将源视频转换成具有特定风格，创建具有不同主题和背景的新场景，比如现实、卡通等。

MagicEdit为用户提供了一款出色的文生视频编辑工具。用户只需使用自然语言提示，就能轻松地改变视频的风格、场景，甚至替换视频中的对象或添加元素，同时保持原视频的动作和外观不变。此外，MagicEdit还提供了视频混合功能，允许用户创造出全新概念。

另外，MagicAvatar还支持用户上传目标人物的图片，来为特定人物生成动画，实现个性化需求。

字节跳动的ai视频项目：MagicAvatar和MagicEdit，展现了在多模态输入和视频编辑领域的惊人潜力。