755 / 2023-10-27 11:14:02

GraspHolo——基于Hololen2的设备组装与维护

       该软件（命名为 GRASP HOLO）应用 MR 技术，部署到 Hololens 2 眼镜上运行。用户可以 用手部操作、眼球凝视和语音命令与虚拟设备进行交互。该软件有三个主要场景，学习模式场景、用户模式场景和认知场景。在主界面先选择要操作的设备对象，可以选择进入学习模式或 者训练模式。在学习模式中有文字提示，视频指导以及 MR 操作智能指示方式，以文档展示规 范的操作步骤，以醒目的错误提示提醒引导用户严格遵循操作标准来操作设备，完成指导性学 习。训练模式则不再对用户进行提示，旨在让用户自行操作，以检验自己的学习成果，训练操 作技能。在零件认知场景中，用户可以通过手势拉伸变换零件大小，通过位置移动或手动拖曳 控制零件与距离的用户，通过手势任意角度旋转零件完成 360 度观察，根据虚拟屏幕文档信息， 对零件进行深度学习，比如学习极板的正负极区分，帮助工人认识零件。

        开发过程中主要用到的工具是 AE，3Ds max 和 Unity。AE 制作贴图和部分 UI 特效 3Ds max 用来建模和对模型进行优化处理，使的模型可以在最小的空间占用下，保持较高的精 度。 Unity 来完成整个项目的开发。其中用到的重要工具是 MRTK，实现了大部分虚实交互功 能。所涉及的重要技术有：模型减模技术， MR 应用开发技术，软件设计，场景控制，合批， 项目优化等。目前项目功能已基本实现，并且可以正常部署到 Hololens 2 上。

        项目验收后，可以通过 Microsoft Store 发布，使应用公开并商业化。