70 / 2023-10-24 15:04:26

智能VR交互手势识别系统及应用

本产品是基于摄像头和柔性光纤VR动捕手套所研发的多场景手势识别系统。其中摄像头在光线良好的室内场景使用，可以安放在银行柜台，火车或飞机的购票大厅，手语教学教室等场合下。通过对手势及手语的实时识别，以帮助残障人士与普通人之间的正常交流并通过所识别的手势/手语与相应的VR场景进行实时交互，延迟低于10ms，识别准确率达到99.58%，可识别的手势/手语单词大于30种。柔性光纤VR动捕手套作为一个便携的设备，其数据通过wifi传输到手机由手机端的程序对手势信息实时识别，再通过手机的屏幕呈现出来。其主要用于残障人士的外出携带，以及复杂环境下的使用，可识别11种抓握动作以及13种不同手势。

摄像头与手套的结合使得该产品的适用范围大大提升：

1. 残障人士社交交流场景

残障人士在社交交流方面常常存在很多障碍，如听力、语言、视觉等方面的问题。这些问题常常会导致残障人士与普通人之间的沟通障碍，从而影响到残障人士的社交交流。通过使用该产品，残障人士可以使用手势或手语进行交流，从而与普通人之间建立起正常的社交交流。例如，在咖啡厅和朋友交流时，残障人士可以使用手势或手语点餐、聊天等，这将使得残障人士更加自信和舒适地与他人交流。

2. 残障人士教育培训场景

该产品也可以用于残障人士的教育培训。例如，在手语教学教室中，残障人士可以使用手势或手语进行交流，从而更好地理解和学习手语知识。同时，教师也可以通过该产品来帮助残障学生更好地理解和学习课程内容，提高教学效果。

3. 公共服务场所场景

该产品还可以用于公共服务场所，如银行柜台、购票大厅等。通过使用该产品，残障人士可以使用手势或手语与服务人员进行交流，从而避免了由于听力、语言、视觉等方面的问题带来的交流障碍。这将使得残障人士更加方便和快捷地享受公共服务。

4. 复杂环境下的使用场景

该产品还适用于复杂环境下的使用，例如火车或飞机的购票大厅。在这些场合下，由于环境嘈杂或灯光不足等原因，残障人士的交流障碍会更加明显。而通过使用该产品，残障人士可以使用手势或手语进行交流，从而更好地应对复杂环境中的交流障碍。

等等复杂VR场景的应用。

本团队的最终目标是生产一套可以覆盖帮助聋哑人在日常生活、教育培训、公共服务、就业、文化娱乐等全方面需求的VR产品。全套产品既有布置在大型公共场合的机器视觉设备，也有对于残障人士个人用户的柔性光纤VR数据手套。

目前针对这两方面的需求已经完成了原型机的设计。其中负责机器视觉部分采用的是ultraleap3di，数据手套则是团队基于柔性光纤自主研发的。整套设备从“传感器—交互机制—核心算法”形成完全自主知识产权的原始技术创新。