405 / 2023-10-26 13:29:11

基于数据驱动的虚拟替身与现实场景融合交互系统

本作品用于实现虚拟物体和现实世界在同一场景画面中的融合显示，具体研究人的虚拟替身融入视频的方法，并实现基于单目相机人体动作捕捉数据驱动虚拟替身，并将虚拟替身注册至视频中。

作品采用MediaPipe Pose算法进行单目相机人体动作捕捉，并使用UDP实时传输人体关键节点数据，同时使用单目ORB-SLAM2算法进行实时三维场景信息获取，得到周围场景三维坐标点及相机数据，结合先进的渲染引擎和RANSAC平面检测算法对虚拟数字人构造、ORB-SLAM2算法调用以及人体关键节点数据捕获驱动完成场景渲染，实现虚拟数字人替身融合至现实场景。