761 / 2023-10-27 12:24:40

混合现实共融多人协同遥操作机器人系统

本系统旨在设计并实现一种混合现实共融多人协同遥操作机器人系统，通过虚拟现实技术提供沉浸式学习环境，使用户能够身临其境置身于虚拟世界，并且操纵虚拟世界中的机器人。致力于打造一个平台，用来提供一种通用的遥操作手段，来控制不同类型的前端机器人。

本系统将机器人作为数字孪生体投影到虚拟现实场景中，增强了远程操作人员对现场的视觉感知共融。这种技术在指导机器人完成任务的同时提高了安全性。此外，本系统还设计了友好的人机交互界面，提高了操作者的使用体验。

系统以云控平台为中心，通过 5G 网络连接操作端与执行端。操作端基于 HoloLens 2和 MRTK 3开发界面，语音手势控制机器人。执行端使用 Jetson Xavier NX 作为边缘主机，通过STM32 控制板驱动步进电机，从而驱动摄像头采集三维环境信息。通过三维重建技术重建现场的真实场景，使用动态路径规划算法实现机器人的自主避障，帮助机器人更好地处理任务，提高自主操作的能力。

系统支持多种机器人接入，适用于不同场景。差速麦轮机器人负责室内搜救，四足机器狗可入侵狭小空间。无人机迅速获取灾情，履带车具备跨越障碍能力。机器人还可自主识别目标、规划路径、避开障碍物。

一项显著的创新是项目的多用户协作功能。多个用户可以同时登录平台，不受地理位置的限制，实时共享虚拟空间中的场景和操作。这为全球范围内的教育和培训提供了新的可能性，使教练和学员能够共同进入虚拟教室或工作场所，实时互动、分享信息和协作完成任务。这种多用户协作模式不仅增强了学习的互动性，还有助于建立学习社区和团队合作的精神。

另一个亮点是录制回放功能，它不仅用于学员的回顾和自主学习，还可用于教育应用。教练可以录制自己的操作示范和讲解，学员可以随时回放这些录像，直到完全掌握相关技能。这为技能培训、手动操作和复杂任务的学习提供了高效的方式，使学员能够根据自己的学习节奏和需求进行学习。

引入了开放系统接口和API，为其他开发者和组织提供了定制和扩展的可能性。同时项目使用了数字孪生模型、三维重建、机器人控制等技术，可满足不同领域的需求。推动了虚拟教育技术的创新，促进了教育和培训领域的技术进步。

项目的应用领域广泛，包括工业培训、医疗培训、教育、航空航天、军事培训、远程操作和监控等多个领域。这个项目顺应着虚拟教育的未来，为学习和培训带来了创新性的解决方案。通过结合虚拟现实、机器人模拟和多用户协作，提供了一种引人入胜、高效和安全的学习方式，将教育和培训带入了新的维度。