106 / 2021-09-05 20:00:24

基于FMA与深度学习的混合现实上肢康复训练评估系统

应用类 > 6组：其他

      目前肢体残疾是医疗机构面临的一个重大问题，患有肢体残疾的人群很难以实现经济独立，加上高昂的康复训练费用，绝大多数残障家庭都承担着巨大的经济压力。基于FMA与深度学习的混合现实上肢康复训练评估系统的设计与实现，是一个以 Fugl-Meyer评分 ( Fugl-Meyer Assessment , FMA )为依据，利用微软 Kinect、HoloLens2.0、HTC定位基站、跟踪器、大疆机器人等硬件设备，以及深度学习、A*算法等设计出的智能化康复系统，目的在于解决传统VR康复系统存在的评估模块缺失，场景构建算法不成熟、系统可拓展性不强等问题。其运用到了激光定位、体感识别等技术，兼备全自动评估、机器人自动寻路自动避障、手势交互、语音交互等功能。患者通过Hololens手势、语音交互使用系统，根据评估内容要求以及虚拟医生全息体的指导完成评估动作，机器人自动寻路避障，拾取辅助道具交付患者，Kinect录制动作，服务器使用评估算法完成对骨骼姿态的实时评估，并根据评估结果推荐合适的训练内容。医师在云端查看患者数据。患者完成训练后可以继续进行下一轮评估。其可解放人力物力财力，解除FMA的繁琐与场地限制，提高康复独立性与康复效率，并应急管理效力，填补我国灾后大规模康复治疗的应用空白。



项目优势在于：

1. 项目提出了基于深度学习和混合现实的新型人机交互方案，避免了以往虚拟场景真实性差、VR眩晕等使用风险，解决了传统康复便捷性、趣味性的需求以及传统康复系统在功能扩展性方面的需求；


2. 使用FMA评估，使得评估内容更加精细，评估数据更加可靠。系统自动评估，患者独立进行，数据直观呈现，解放了传统FMA的使用限制；


3. 智能康复系统实现训练任务的智能推送，通过多种信息反馈、多种形式训练，在心理以及训练效率上都有了很大的提高；


4. 使用手势交互、语音识别使得系统更加易操作上手，适合各种类型的患者；


5. 辅助机器人将FMA的利用率放大化，使患者可以进行更加丰富的测试内容


6. 使用云平台进行数据收集、整理、展现，解决了患者于医师对于数据回溯的需求以及传统FMA带来的数据不直观的限制。


7. 易于横向扩展：可以用该概念进行其他部位的康复训练评估；易于纵向扩展：可以进一步进行针对性开发并细化个性化内容，混合人机交互感以及自然感。