系统需求分析

• 在日常生活中的活动会影响大脑神经网络的波动性，从而影响到个人的认知层面，所以关于认知训练和康复方面可以从严肃游戏出发。这类严肃游戏广泛运用在学习健康生活方式的游戏、激励健康行为的游戏和用于心理治疗的虚拟世界游戏。

• 传统的执行功能认知训练评估通常为文字和图片，以问卷的形式来进行观测。现有的执行功能训练评估方法结合严肃游戏对传统的方法改进，通过二维游戏场景进行认知训练。这些游戏仍存在不足之处，具体如下：

• 通过现在有效的认知训练游戏，对于执行功能的认知训练场景引入VR技术来进行构建。VR技术的引入可以增加受试者在场景中的游戏沉浸感，可以带给受试者多重感官刺激，使场景更加立体和逼真，增加受试者的脑电信号波动，并且容易调动受试者参加认知训练的积极性。


• 所以采用脑机接口和VR技术的融合，使训练场景以VR的形式呈现给受试者，从而来更好的获取认知训练过程的脑电信号。基于上述情况的分析，设计一个基于脑机接口和虚拟厨房的执行功能认知训练系统。

游戏设计和实现

训练版虚拟厨房的设计：

• 训练游戏为了保证被试者有充足的沉浸感和情景记忆，执行功能训练游戏覆盖计划、顺序、反馈、决策和判断等方面，选取日常生活场景中的厨房来作为训练任务的游戏场景。


• 训练版虚拟厨房仿照的是中式厨房房间构造样式，包括一个蔬菜木栏，两侧各一个长型木案台和中间四方木桌和灶台。四方形木桌在上面摆放的是生鸡肉、豆腐、火腿和猪肉等各式各样的肉类食材；左侧的案台摆放的是酱油、盐、花生油、黄酒等瓶装调味料，以及砧板和菜刀等工具；右侧的案台放有蒸笼、水槽和水龙头。场景中的物体都赋予碰撞体(Collider)来保证物体的可交互性和可操作性。被试者在训练过程需要记忆一道菜的步骤，如果中间步骤错误将无法完成菜肴的训练任务。


• 为了体现游戏沉浸感，被试者会采用第一视角在游戏场景中进行交互和操作，并通过Untiy3D设计虚拟人物来当作被试者。执行功能训练内容包括计划、顺序、决策和判断等方面，设计思路是被试者记忆做一道菜肴的步骤和顺序，并在虚拟厨房中把这道菜进行复现，其中需要完成碰撞检测计分算法来完成计分的目的。

游戏交互：

测试版虚拟厨房：

• 测试版虚拟厨房场景构建主要以现代化的一体式厨房为主，其中包括两个木架、一个冰箱、窗户前的盆栽和灶台等，测试版虚拟厨房场景如图所示。左侧的木架上摆放的是八角、黄瓜、香菇和白菜等蔬菜，右侧的木架摆放的是生鸡肉、猪肉和火腿等；左右两侧的长桌分别摆放的是调料、菜刀、水龙头和碗碟等物品；三个灶台从左到右分别控制铁锅、砂锅和铝锅。


• 测试版的虚拟厨房同样采用W、A、S和D按键来进行角色的移动、鼠标滑动控制角色的视角和鼠标左右点击来进行交互操作。测试版虚拟厨房包含计分器和计时器，计分器是通过碰撞检测计分算法实现加分。此场景在训练版的基础上，增加在两侧长桌上对食材的置放和重新拾取等交互操作，比如：完成任务可以先把所需的食材进行摆放到桌子等操作。

执行功能训练任务设计：

• 执行功能训练系统中的训练游戏是训练版虚拟厨房，训练过程分为两个阶段。第一阶段是实验人员向被试者展示所需要完成的菜品图；第二阶段是被试者按照任务菜品图的步骤来完成菜品。为了增加训练的游戏沉浸感和训练效果，被试者采用以第一人称的视角在VR设备中进行训练，训练过程的演示图，如图所示。


• 训练版虚拟厨房训练任务难度是增加地趋势，同时为了减少被试者在重复任务中的倦怠感，执行功能训练任务的难度会伴随训练天数的增加而增加。每天的训练任务中游戏场景不会变化，但被试者需要完成的任务菜品是存在差异性的，目的是训练被试者的判断、顺序和决策以及对执行功能改变的认知能力。具体任务安排如下：


• 训练版虚拟厨房共有9个难度不同的任务，任务的难度是逐步提高的，整个训练周期为28天，训练任务的训练时间安排如图所示。训练任务菜品共有9个，分为四个阶段。第一阶段是第1天到第6天，被试者需要完成三道菜，分别是清拌黄瓜、焖白菜和菌汤。每道菜进行两天的训练，第一阶段菜品任务示意图，如图所示；第二阶段是第7天到第15天，被试者需要完成葱爆火腿、白菜炖豆腐和黄焖鸡。每道菜需要进行三天的训练，第二阶段菜品任务示意图，如图所示；第三阶段是第16天到第23天，被试者需要完成小葱拌豆腐和腌笃鲜。其中每道菜都需要进行四天的训练，第四阶段是第24天到第28天，被试者需要在此期间完成东坡肉，第三、四阶段的菜品任务示意图如图所示。

执行功能测试任务设计：

• 执行功能训练系统的测试场景采用的虚拟版测试厨房对被试者进行执行功能认知方面的测评。执行功能测试任务同样采取的是两个阶段，被试者首先进行测试任务的记忆，然后在测试版的虚拟厨房进行任务操作。测试版虚拟厨房同样采取以虚拟人物第一视角来进行操作，整体环境更改为一体式的厨房，如图所示。


• 被试者在训练过程中会进行5次测试，具体测试时间分布在28天的训练过程前后。第一次测试在被试者进行量表后的1天，之后按照每隔7天再进行一次测试，并且为了保证测试任务的难度统一性，设计了5个测试任务。如图所示。


• 被试者在测试游戏开始前需要进行5分钟的步骤记忆时间，进入测试场景后，受试者通过按键W、A、S、D按键以及鼠标完成测试任务中的12个步骤，任务完成后计时结束。本实验共有5次测试，训练游戏开始前的第1次测试在实验进行的第2天使用任务一。为了保证测试难度一致和避免相同内容的步骤，后续的四次测试与第一次测试同样是12个步骤，但步骤中的内容是进行变化的。其中第二次测试在实验进行的第10天使用任务二，第三次测试在实验进行的第18天使用任务三，第四次测试在实验进行的第26天使用任务四，第五次测试在实验进行的第34天使用任务五，五次测试任务是对训练过后的执行功能认知能力的测评。

系统工具：

• 系统的软件工具分为：Visual Studio Code2019开发环境、Unity3D虚拟游戏开发工具、OpenGUI脑电信号显示界面、SteamVR以及PyCharm开发环境。Unity3D开发平台使用借助在Visual Studio Code 2019开发环境中的C#语言进行脚本的编写，其构建虚拟厨房的训练和测试场景。

数据采集：

• 采集的数据包括脑电信号和行为数据两种。


• 脑电信号是通过OpenBCI以1000Hz的采样率进行采集，数据中还存在实时采集的时间戳信息，并将各个数据之间通过特定的分隔符进行分隔，以csv格式存储在本地磁盘中。


• 行为数据的是通过Unity3D脚本实现100Hz采样率来进行数据采集，其中包含分数、耗时、时间戳以及眼动数据，以txt格式存储到本地磁盘中。

行为数据分析方法：

• 系统会实时记录并保存被试者在虚拟场景中的任务得分情况和完成任务的时长，这两种行为数据可以辅助验证被试者在训练过程中查看执行功能的变化。针对受试者在两次量表的分数、完成测试任务的耗时以及得分情况分别进行分析。


• 本次场景任务是针对执行功能认知能力来进行设计，受试者在本系统实验中完成任务的得分和耗时能直接反映其执行功能认知能力，因此在开发执行功能训练系统时针对受试者的得分和耗时等行为数据进行实时存储。通过受试者得分情况和耗时验证执行功能训练系统的有效性。


• 受试者在虚拟厨房场景中，每次完成测试任务中步骤会实时将得分情况进行存储并呈现给受试者，便于观察任务的完成度。通过对受试者的得分进行统计学分析，比较各个阶段测试任务的得分变化。


• 受试者从进入到测试任务场景中就开始自动计时并且显示在VR画面中，直到受试者按照任务的顺序步骤全部完成则自动结束，并保存到本次磁盘中。通过对比完成测试任务的耗时，可以有效反映执行功能认知能力的变化，分别对各个阶段的测试任务进行统计学分析对比耗时的差异化。

系统的有效性评估方法：

• 系统主要从行为数据和脑电信号两个方面进行分析，从而来验证执行功能训练系统的有效性，其中行为数据和脑电信号分别应用统计学方法和查看耦合特征值方法来进行验证。针对行为数据进行三个方面进行分析：


• (1)被试者量表的得分情况：采用Stroop色词干扰测验进行量表检测，可以有效反映被试者执行功能能力的干扰抑制、判断和顺序等方面，通过对比训练前量表和训练后量表的得分情况进行t检验，得出两次量表之间的差异程度从而验证执行功能系统的有效性。


• (2)被试者完成测试任务的耗时：受试者在完成测试任务所需要的时间可以有效反映受试者脑电活动的程度，正向反映出执行功能认知的变化。在完成任务过程中，受试者的注意力和心理状态都会受到耗费时间的影响。耗费的时间越长，受试者越会感到疲惫，脑电信号特征易不明显。通过对比各个阶段完成测试任务的耗费时间，来分析执行功能训练系统对执行功能认知的效果。


• (3)被试者完成测试任务的得分情况：各个阶段的测试任务都会得出受试者在完成任务的完成度，并以分数的形式呈现并保存。统计五次测试任务的得分并进行统计学分析，分析受试者在训练前后的差异性从而验证系统的有效性。