957 / 2023-10-27 22:08:04

“护心”-基于VR的情绪识别与交互系统

“护心”-基于VR的情绪识别与交互系统是通过构建新型交互式Unity场景来实现情绪异常人群的一种。首先，在场景中设计多模态刺激及任务，利用正向、中性、负向三种情绪类型的图片、文字、背景音乐等多模态刺激唤醒使用者的情绪；然后采集大学生，包括含情绪异常人群的语音、反应时间、注视位置等多模态数据；最后，运用多模态融合技术实现信息融合，并通过神经网络来分析被试是否存在情绪问题，实现情绪异常人群的识别。<br />
本作品共构建了一个教程场景和六个VR交互场景，分别包含语音和答题两种交互方式。每次实验过程中采集用户回答15个问题的反应时长、9条朗读指定语料的音频数据以及用户实验全程的注视位置数据。收集到的数据将被上传至服务器，在保证用户隐私的情况下在平台进行数据可视化、分析展示。