143 / 2023-10-25 16:14:27

手势计算机组装XR

扩展现实（Extended Reality，简称XR），是指通过计算机将真实与虚拟相结合，打造一个可人机交互的虚拟环境，是MR、AR、VR多种技术的统称。通过将三者的视觉交互技术相融合，为体验者带来虚拟世界与现实世界之间无缝转换的“沉浸感”。XR交互是人机交互的一种形式，交互任务包括对象操作任务和UI命令任务。手势交互是通过手部可见的动作来代替交互设备进行传达特定交互消息的形式。

1、 作品解决的问题

（1）在传统计算机组装实训中，计算机配件价格昂贵且容易损坏，导致实训成本居高不下。

（2）在现有的VR设备中，手柄控制器就相当于用户在虚拟世界中的双手。但手柄控制器的存在一直局限着用户在虚拟现实中的交互真实性。

2、 作品设计的目的

为破解“三高三难”问题，工信部、教育部等五部门于2022年11月联合印发《虚拟现实与行业应用融合发展行动计划（2022-2026年）》，明确要求推进“虚拟仿真实验教学2.0”。

作品针对计算机组装虚拟仿真教学，开发手势识别多平台XR系统。使用XR技术开发基于三个平台（MR、AR和VR）的计算机组装虚拟仿真教学软件，旨在让使用者在虚拟实验中释放双手，通过触觉或触觉反馈来增强虚拟物体的感觉。

3、 作品设计的基本思路

作品以HoloLens2、PicoNeo和Android移动设备为硬件平台，以Unity3D为软件平台，以计算机组装系统为载体，采用基于视觉的MR、AR和VR三种交互方式进行设计实现。作品使用手势或手柄与计算机组装虚拟场景中的配件进行交互。进入作品软件后，用户可进行（MR：手势交互，AR：卡片识别、手指触摸交互，VR：手势或手柄交互）计算机组装的拆装学习和训练。

4、作品的创新点

（1）针对计算机组装虚拟仿真教学为主题，作品提供了MR、AR和VR三种实现方案，为其它“三高三难”虚拟仿真实训主题提供了一种可借鉴的软件框架结构。

（2）针对火热的元宇宙概念项目，作品基于HoloLens2的MR开发，为使用基于数字孪生技术生成现实世界的镜像，提供了一种参考技术方案。

（3）在VR版本开发中，实现用头盔和手柄控制器进行交互，实现了低成本、高效率仿真教学。

5、作品使用的关键技术

作品开发了MR/AR/VR三个平台的版本，技术特点为：采用Visual Studio编译脚本软件、Unity开发引擎搭配MRTK、Vuforia、Unity Pico SDK完成三个平台版本的开发。

（1）MR版本技术框架

使用Unity3D引擎构建项目，并导入MRTK 2.7，然后配置MR项目、MR摄像机、远近交互和语音控制，最后进行MR编程和内容制作。将开发的MR程序在HoloLens2设备中进行安装，实施交互功能与信息反馈。HoloLens2设备会实时将全息影像映射到现实世界中，并通过摄像头和传感器进行实时定位和地图构建。在HoloLens2的虚拟场景中，通过手部近交互、射线远交互或语音交互，选择台式机组装模块和笔记本组装模块。在每个模块中，可以通过手势进行动画观赏、硬件展示、手动组装和考核测评操作。

（2）AR版本技术框架

使用Unity3D引擎构建项目，并导入Vuforia Engine，然后配置Vuforia。同时在Vuforia官网构建识别数据库，并生成License Key，在Unity工程中进行配置。最后进行AR编程和内容制作。将开发的AR程序在Android设备中进行安装，通过移动设备摄像头捕捉现实世界，实施交互功能与信息反馈。摄像头捕捉到配件图片时，会追踪匹配识别数据库，现实对应的虚拟场景，然后进入AR交互检测。通过检测触摸点数目，判断单点触摸或多点触摸，通过获取水平和垂直偏移量进行手势控制，选择进入台式机场景或笔记本场景，进行动画观赏、硬件展示、手动组装操作。

（3）VR版本技术框架

使用Unity3D引擎构建项目，并导入Unity Pico SDK。然后配置VR项目，具备PIcoSDK的交互系统，最后进行VR编程和内容制作。将开发的VR程序在PicoNeo设备中进行安装，并运行VR手势交互程序。系统由SDK通过摄像机实时捕捉用户手柄。进入虚拟主场景后，通过手柄扳机的方式交互，选择台式机组装模块和笔记本组装模块。在每个模块中，可以通过手柄扳机的方式交互进行动画观赏、硬件展示、手动组装和考核测评操作。 

6、作品主要技术指标

（1）硬件指标

AR/VR版本：CPU：2核2.0Ghz或以上，RAM：2.00G或以上，HD：500M；MR版本：CPU：8核2.0Ghz或以上，RAM：4.00G或以上，HD：500M。

（2）软件指标

AR版本：Android5.0以上版本，VR版本：Windows 7以上版本，MR版本：Universal Windows Platform。

（3）响应时间

MR/AR/VR版本均小于0.5s。

（4）项目指标

1)    提供“傻瓜式”交互界面，操作简单，所见即所得；

2)    提供系统拓展，支持在开发平台基础上继续编辑，完善或更新；

3)    支持手势和手柄触发条件。



作品的科学性先进性

作品将XR技术与计算机组装虚拟仿真实训相结合，设计开发出了基于MR、AR和VR技术的实训平台。

1、作品的科学性分析

（1）作品采用的技术具有前沿性

“十四五”期间，我国元宇宙产业化政策持续加码。“十四五”规划中首次提及元宇宙，提出要进一步加强元宇宙底层核心技术基础能力的前瞻研发。

作品采用的XR技术是元宇宙底层核心技术基础，属于七大新兴战略产业分类。未来，人类的交互方式将由二维交互向更具效率的三维手势交互转变。3D视觉交互系统的发展取决于XR技术的发展。中国的XR产业还处在起步期，XR产业的竞争模式松散，尚未出现一家独大的局面。

（2）作品技术的积累具有延续性

虚拟现实工作室团队自2012年成立以来，开发了多项游戏和虚拟现实作品，引擎多采用OGRE和Unity，开发语言多采用C++和C#，开发设备多采用HTC Vive、Pico、Kinect、HoloLens和GearVR，代表作包括：《体感“淘衣”》获“挑战杯-彩虹人生”全国职业学校创新创效创业大赛广东省特等奖、教育部二等奖；《基于Kinect的体感试衣系统》获第三届“蓝桥杯”全国软件人才设计与创业大赛省一等奖、国家二等奖；《皇帝的新装》获第八届“挑战杯”广东大学生创业计划竞赛银奖；《landmark XR》获第五届中国虚拟现实大赛一等奖（第3名）；团队获虚拟现实类软件著作权10项；团队参加虚拟现实（VR）设计与制作职业技能大赛获得国家二等奖1项，省一等奖3项，二等奖3项。

（3）作品开发的流程具有科学性

作品的三个版本均基于Windows 10系统开发，开发工具是当前最热门的游戏开发引擎Unity 3D（已在《游戏制作基础》和《手机手机开发》课程中学过），项目脚本的编辑环境是Visual Studio 2019，开发语言是C#（已在《C#应用与开发》课程中学过），交互UI使用Photoshop（已在《图形图像处理技术》课程中学过）和建模软件3DMax（已在《3DMax动画制作》和《场景与角色设计》课程中学过）。作品按照需求详细分析、使用3DS Max进行计算机配件的创建和动画的制作、模型格式的转换、使用Unity进行虚拟场景的搭建、脚本代码的编写、虚拟现实辅助设备搭建以及系统测试的流程进行。

2、作品的先进性分析

（1）作品技术的选取与开发主题具有先进性

截至2023.02.14，根据百度搜索，暂没有发现针对计算机组装的MR、AR和VR同时三个版本实现的作品，尤其基于HoloLens2的MR作品更是凤毛麟角；根据知网“计算机组装“和”Hololens2“搜索0篇；根据知网“XR技术”词条搜索，在主题“拓展现实”和学科“计算机软件及计算机应用”筛选下，共计9篇论文，其中2019年之前0篇，2019年1篇[1]，2020年3篇[2-4]，2021年3篇[5-7]，2022年2篇[8-9]。

（2）作品技术与虚拟仿真实训的融合具有先进性

根据教育部公布的职业教育示范性虚拟仿真实训基地培育项目，我校入选为2021年教育部职业教育示范性虚拟仿真实训基地培育项目单位。《职业教育示范性虚拟仿真实训基地建设指南》规定，将职业教育示范性虚拟仿真实训基地打造成集教学、实训、培训、科研、竞赛、科普等功能于一体的综合性实训基地、虚拟仿真实训教学资源校企协同开发平台和虚拟仿真实训技术成果展示与应用推广平台；解决实训教学过程中高投入、高损耗、高风险及难实施、难观摩、难再现的“三高三难”痛点和难点，为推动现代职业教育高质量发展增效赋能。作品设计的XR交互方案为学校在建的国字号虚拟仿真实训基地的建设提供参考。

（3）作品技术与元宇宙概念结合具有先进性

微软2022年12月宣布Dynamics 365 Guides将扩展对HoloLens2功能性支持，以促进工业元宇宙客户对工业元宇宙的采用。中央纪委国家监委网站2021年12月23日发文《深度关注：元宇宙如何改写人类社会生活》指出：“元宇宙是基于互联网而生、与现实世界相互打通、平行存在的虚拟世界，是一个可以映射现实世界、又独立于现实世界的虚拟空间。”元宇宙由六大技术构成：区块链技术、交互技术、人工智能技术、网络及运算技术、物联网技术和游戏技术。作品采用的XR技术涵盖交互技术和游戏技术。基于HoloLens2的MR开发，为使用基于数字孪生技术生成现实世界的镜像，提供了一种参考技术方案。