840 / 2023-10-27 16:17:53

面向中学课堂的MR智能实验教学系统

我们提出了我们提出了一种基于多模态融合与上下文历史信息的人机协同意图理解算法（MFCHI），并将其应用到我们设计的面向中学课堂的MR智能实验教学系统中。该智能实验系统包括面向空间几何教学的三维智能笔、具有识别与感知能力的智能烧杯与智能交互组件，可用于初中物化实验。

我们将硬件电路结合3D打印模型制作了系统的硬件部分，并利用PyCharm与VS2019作为开发环境，在Unity平台中进行集成，完成了软件系统的开发。通过蓝牙将硬件设备与电脑进行通信，不同开发平台之间使用socket通信，实现对用户行为信息的获取与分析，将意图理解算法的执行结果实时反馈至Unity虚拟场景中，并对用户进行实时的语音与画面反馈，在提高用户操作的沉浸感与真实感的同时，降低了用户的操作负荷，有助于提高学生的实验能力与空间理解能力。