834 / 2023-10-27 15:51:15

基于多模态融合算法的混合现实虚实交互实验平台MRLab

提出了一种可以融合传感通道、语音通道、视觉通道的多模态混合融合算法，该算法可以获取用户意图，并且能够根据用户意图去指导用户的行为。传感器通道，设计了用于捕获用户手部动作信息的SrNet网络；在视觉通道，基于YOLOv5技术设计了SIPA算法来捕获用户想要选择的实验仪器；语音通道，利用结巴分词技术设计了基于文本相似度匹配的SFA算法获取用户意图。提出并设计了一种面向虚实融合实验教学并且具有认知能力的智能手套，将所有传感设备集成于手套中，在手套的手腕部安装了灵活感知实验场景的双目摄像头。利用RFID设计了适用于本实验环境的化学小工具，包括镊子、玻璃棒和药匙。利用薄膜压力传感器设计了提醒按键，辅助用户完成知识要点和操作提醒。通过头戴式摄像头设备利用Unity的Vuforia建立混合现实平台下虚实融合的通道，完成用户操作的虚实一致性对应。设计并实现了混合现实化学实验平台，弥补了采用虚拟实验教学缺乏实验操作感的不足，弥补了采用虚拟实验教学缺乏实验操作感的不足。在系统中监控并引导用户的行为，提升了交互效率，减低认知负荷，使学生能够更加专注。