4d_association多个摄像机进行实时多人动作捕捉的4D关联图

    本项目时由清华大学与天津大学发布于cvpr2020。

    官网地址:http://www.liuyebin.com/4dassociation/

    本文提出了一种基于多视图视频输入的实时多人运动捕捉算法,由于严重的自遮挡,多视图运动相互作用密切,对多视图和多时间帧进行关节点优化是必不可少的,这就对实时性提出了挑战。为此,首次将 逐视图解析、跨视图匹配和时间跟踪 统一到一个单一的优化框架中。即一种4D关联图,可以同时处理图像空间、视角和时间的各个维度。

4d_association多个摄像机进行实时多人动作捕捉的4D关联图

4d_association多个摄像机进行实时多人动作捕捉的4D关联图

    多人的无标记动作捕捉仍然具有挑战性。利用单视图来估计二维和三维位姿,由于存在严重的自遮挡问题,最后估计的结果保真度低。相比之下,多视图对自遮挡问题有一定缓解,现如今多视图方法发展取得一定成功,但是没有实现实时性和高质量捕捉目标。
    4D包含哪些? 即:2D空间、1D视角和1D时间;多视点视频输入,实时高质量的多人动作捕捉成功的关键在于如何利用4D数据输入;
    在4D结构中存在三种基本的关联。即:① 单视图图像关联 (例如解析) 来形成人体骨架;② 跨视图关联 (例如匹配) 来建立不同视图之间的关联;③ 时间关联 (例如跟踪) 建立序列帧之间的关联。而现有的方法很难做到同时有效地处理所有这些关联。

4d_association多个摄像机进行实时多人动作捕捉的4D关联图

    我们的工作4D关联图使用多视图视频输入贡献了一种新颖的实时多人动作捕获算法。由于每个视图中的遮挡物很重并且动作紧密相互作用,因此在多视图图像和多个时间帧上进行联合优化是必不可少的,这带来了实时效率的根本挑战。我们的贡献包括:

    (1)4D关联图表示:将每个视图的解析,跨视图匹配和时间跟踪统一到一个优化框架中,从而可以平等且同时地对待每个维度。现有的关联方法仅考虑这些关联的一部分,或者简单地以顺序方式操作它们,这会降低运动重建的质量和效率。
    (2)强大的实时运动捕捉系统:提出一种基于启发式搜索的4D肢束解析求解器,以实现实时重建(30fps)。
    (3)多人3D骨架数据集:具有optitrack中对齐的高质量3D骨架的多视图RGB视频,主要关注紧密的交互和具有挑战性的运动。

4d_association多个摄像机进行实时多人动作捕捉的4D关联图

,
相关链接:
https://github.com/zhangyux15/4d_association
https://arxiv.org/pdf/2002.12625.pdf

文章链接:https://www.ai2025.cn/2744.html
文章标题:4d_association多个摄像机进行实时多人动作捕捉的4D关联图
文章版权:AI2025 所发布的内容,部分为原创文章,转载请注明来源,网络转载文章如有侵权请联系我们!

(0)
上一篇 2020年12月23日 下午1:21
下一篇 2020年12月23日 下午1:23

相关推荐

发表回复

您的电子邮箱地址不会被公开。

分享本页
返回顶部