Impersonator++动作模仿系统

    这是一个很有趣的项目,通过液化,强行让一张照片的人物动起来!

Impersonator++动作模仿系统

    我们在统一的框架内处理人的图像合成,包括人的动作模仿,外观转换和新颖的视图合成。这意味着该模型一旦经过训练,便可以用于处理所有这些任务。现有的特定于任务的方法主要使用2D关键点(姿势)来估计人体结构。但是,它们仅表达位置信息,无法表征人的个性化形状并模拟肢体旋转。在本文中,我们建议使用3D身体网格恢复模块来解开姿势和形状。它不仅可以模拟关节的位置和旋转,还可以表征个性化的身体形状。为了保留原始信息,例如纹理,样式,颜色和面部识别,我们提出了一种带有注意液体翘曲块(AttLWB)的注意液体翘曲GAN,该方法将图像和特征空间中的源信息传播到合成参考。具体地,通过降噪卷积自动编码器提取源特征以很好地表征源身份。此外,我们提出的方法可以支持来自多个来源的更灵活的变形。为了进一步提高看不见的源图像的泛化能力,应用了一次/少量的对抗学习。详细地,它首先在广泛的训练集中训练模型。然后,它会以一种自我监督的方式根据一张/几张看不见的图像对模型进行微调,以生成高分辨率(通过去噪卷积自动编码器提取源特征,以很好地表征源身份。此外,我们提出的方法可以支持来自多个来源的更灵活的变形。为了进一步提高看不见的源图像的泛化能力,应用了一次/少量的对抗学习。详细地,它首先在广泛的训练集中训练模型。然后,它会以一种自我监督的方式根据一张/几张看不见的图像对模型进行微调,以生成高分辨率(通过去噪卷积自动编码器提取源特征,以很好地表征源身份。此外,我们提出的方法可以支持来自多个来源的更灵活的变形。为了进一步提高看不见的源图像的泛化能力,应用了一次/少量的对抗学习。详细地,它首先在广泛的训练集中训练模型。然后,它会以一种自我监督的方式根据一张/几张看不见的图像对模型进行微调,以生成高分辨率(它首先在广泛的训练集中训练模型。然后,它会以一种自我监督的方式根据一张/几张看不见的图像对模型进行微调,以生成高分辨率(它首先在广泛的训练集中训练模型。然后,它会以一种自我监督的方式根据一张/几张看不见的图像对模型进行微调,以生成高分辨率(512 \时间5125 1 2×5 1 2 和 1024 \次10241 0 2 4×1 0 2 4)结果。此外,我们建立了一个新的数据集,即模仿者(iPER)数据集,用于评估人体运动模仿,外观转移和新颖的视图合成。大量的实验证明了我们方法在保持面部特征,形状一致性和衣服细节方面的有效性。

Impersonator++动作模仿系统

官网地址:https://www.impersonator.org/work/impersonator-plus-plus.html

,
相关链接:
https://github.com/iPERDance/iPERCore
https://arxiv.org/pdf/2011.09055v2.pdf

文章链接:https://www.ai2025.cn/2676.html
文章标题:Impersonator++动作模仿系统
文章版权:AI2025 所发布的内容,部分为原创文章,转载请注明来源,网络转载文章如有侵权请联系我们!

(0)
上一篇 2020年12月23日 下午12:26
下一篇 2020年12月23日 下午12:30

相关推荐

发表回复

您的电子邮箱地址不会被公开。

分享本页
返回顶部