387 / 2023-10-26 12:18:15

虚拟术士-基于虚拟现实的脊柱侧弯术前模拟系统

1 项目介绍

1.1 项目简述

脊柱侧弯指的是脊柱的不正常生长曲线，轻度会造成背部不平、双肩不等高等身体外观异常，严重者胸廓较正常人明显发育受限，影响心肺功能和劳动能力，并引发其他脊柱疾病和心理问题。

脊柱侧弯手术标准为Cobb角大于45°，任何年龄的侧弯达到此度数必须进行手术，否则就一定会持续恶化，并且在成年后会引发一系列的脊柱疾患。而美国顶级医学中心曾在2016年所做的一项研究估计，美国每年有超过25万人死于医疗差错。2008年对美国外科医生学会成员进行的一项调查中，近10%的人表示担心自己在过去三个月里犯了重大的医疗错误。且脊柱侧弯手术属于风险大、医疗器械要求高，贫困地区医生很难得到足够的手术训练。且目前脊柱侧弯手术存在手术成本高昂、手术风险大、专业医生短缺、手术方案制定难等痛点。

针对以上市场需求与现实情况，我们提出本项目来帮助医生更好地理解手术过程，提高手术效率和准确性。相比于市场上大多产品，我们项目通过算法能够获取病人的脊柱模型来提供针对性的术前模拟训练，此外通过VR力反馈手套来提高手术模拟的真实性。

1.2 技术方案

项目首先使用Unet图像分割和模型生成算法，从病人CT图中获取三维脊柱模型，可导入到我们到使用Unity结合OpenVR SDK搭建的虚拟现实手术室场景中，系统分为演示、引导、实操三模式，医生可使用我们研发的VR力反馈手套增强模拟的真实触感，通过VR眼镜设备来进行针对性的手术模拟训练，模拟结束后系统会对手术操作进行评分提出设当建议。通过VR眼镜设备和力反馈手套，医生能更加直观地了解手术步骤，从而提高手术的熟练度来降低手术风险。

同时系统结合增强现实技术，可以通过软件导入病人脊柱模型，实时实地查看病人脊柱，更加精细地了解手术部位和情况，帮助医生制订手术方案。此外还将提供软件社区服务，在这个平台上，医生们可以共享他们的手术案例和一些技术方法，从而更好地提高诊断和治疗脊柱侧弯的能力。

2 核心技术

2.1 基于UNet和VTK算法构建三维脊柱模型

为了实现病人脊柱模型的获取，让医生做针对性的术前手术模拟训练，我们使用UNet进行脊柱图像的分割，再使用VTK算法获得脊柱的三维模型。首先收集脊柱CT图像数据集，使用是VerSe的脊柱CT开源数据集，对其进行预处理，预处理包括去除无关区域、标准化、降噪、转成矢状视图等操作，以提高脊柱分割模型的性能，最终处理后得到经过预处理后的切片图像。然后构建UNet模型，通过调整模型参数，如epoch、学习率、channel等，进行训练，使得Dice Score达到0.93，得到较为优异的模型并保存。



接下来使用训练好的UNet脊柱分割模型对CT图像进行分割，将脊柱从CT图像中分离出来，得到经过分类的二进制掩码，大小与输入图像相同脊柱的二值化图像，其中白色的像素表示脊柱区域，最终再将调用模型得到的所得到的所有二进制掩码，组合成四维Tensor，利用第三方库Nibabel提供的函数转换成一个仅有脊柱区域的NIFTI文件，作为接下来VTK三维模型构建的数据输入。

利用VTK中的Marching Cubes(等值面重建)算法，读取经过分割算法得到的仅有脊柱区域的NIFTI文件，进行脊柱的表面重建，生成脊柱三维模型。

2.2 基于力反馈手套的脊柱侧弯手术模拟系统

2.2.1 基于虚拟现实技术的手术模拟系统

手术模拟系统是一个理想的培训平台，可以观察三维人体图像，让医生在手术时感受到器械的压力，使手术者操作的感觉就像在真实的人体上手术一样，既不会对病人造成生命危险，又可以重现高风险、低概率的手术病例，可供培训对象反复练习。团队首先进行大量的调研，并与专业医生进行商讨，从而在Fusion360中构建出真实的手术场景以及虚拟手术器械模型库，并将场景模型文件导入Unity中进行场景搭建，使用OpenVR SDK进行事件的绑定，并编写脚本完成手术中各个碰撞事件的效果，最终实现在VR中进行脊柱侧弯手术的全流程。

本项目基于虚拟现实技术打造而成，利用VR力反馈手套，通过VR眼镜进行手术模拟的操作，医生们能够极为方便直观地了解整个脊柱侧弯手术过程中，需要参考或者要处理哪些关键信息，相较传统方式在时间、空间消耗上都有显著优势。提供一个安全、方便、经济、高效的手术训练平台。

通过对脊柱侧弯手术模拟训练过程的记录、回放、反馈、分析与评价等操作，本系统可以客观地分析操作者的手术技能，为提高手术技能提供客观数据，从而增强手术的训练效果。

支持引导、演示、实操三种模式，供给实习医生、医学生、医生等不同的需求，引导模式下，按特定顺序指导执行，以便掌握技能，用户可以根据需要多次进行，以此提高手术信心；演示模式下，主要在VR中可以展示真实手术模拟，用户能看到和听到实际内容，可随时停止来提出问题，丰富学习内容；实操模式下，无任何指导和帮助，模拟实际手术过程，实时跟踪和分析，记录数据，评估操作过程，让医生可以在术前针对病人的手术模拟训练，来降低手术的风险。

2.2.2 用于增强手术模拟真实性的VR力反馈手套

拥有力反馈的外科虚拟现实手术系统，将真实的力反馈信息整合入该系统，再现脊柱手术过程中每一个操作的“手感”。能够让医师体验与真实手术一样的操作手感，从而更好地模拟手术过程。我们的力反馈手套设计思路主要分为数据获取和传输、力反馈两部分。首先是数据获取和传输，采用Esp32搭载电位器，将绳线连接至指头，现实中手指伸缩会拉动线轴，线轴移动导致电位器旋转，使得电阻发生变化，电位器产生的电信号传输到开发板中，开发板内的工程文件会决定每个引脚的电信号代表什么内容，把数字信号传输给电脑，电脑接收信息通过opengloves软件处理，把数字信号模拟成VR里面手柄，输入模拟手柄相对真实手柄的坐标，手指可以在VR内进行移动。

其次是力反馈，这部分主要通过舵机来实现，舵机的摇臂根据接触物体的不同形状，旋转成不同的角度，摇臂会卡住突起的螺丝，限制手指的弯曲程度，从而模拟实际触摸物体的感觉，使得使用者可以在虚拟现实里面感知到手掌抓取的物体。

医生可以使用我们开发的力反馈手套连接设备，在我们开发的VR手术模拟系统中使用，通过力反馈手套进行手指动作的跟着，模拟出物体的形状和阻力，在模拟过程中能有一些反馈可以让手术模拟效果更佳真实。

2.3 具有增强现实功能的医患两用安卓社区

脊柱的侧弯畸形，是一种严重的疾病，传统手术方法通常使用标准化的手术方法，但不同患者的病情和身体特征之间存在许多复杂细微的差异。这使得标准化的手术方案无法满足手术效果和效率的需求，也无法最大化患者的满意度。对于同一类型的脊柱侧弯病患者，也存在着症状和病情的差异，需要制定个性化的手术方案，而对病人的脊柱能有一个实时的观察以及与病人的联系沟通，可以提高医生对病人的手术方案的制定，也能帮助术后康复。

安卓社区可以根据医生和患者身份的不同，来提供不同的特定功能，支持医医交流、医患交流，频繁的交流帮助手术方案的确定。此外，APP结合增强现实技术开发出一个能够查看病人脊柱模型的工具，可以将患者的脊柱模型导入APP中，医生可在术前对患者的脊柱模型进行查看，从而理解解剖结构和判断病灶的位置，为之后的手术做出更加准确的规划，提高手术的安全性和效率，减少患者和医生治疗途中的负担。

3 应用前景

3.1 市场现状及前景

随着科学技术的进步，计算机在各个领域起着不可估量的作用，近年来虚拟现实技术达到了新浪潮，正逐渐成为外科手术和医疗保健领域的宝贵工具。利用虚拟手术系统，医生可以在对病人实施复杂手术之前进行练习，对实际手术做出相应的规划，预见手术的复杂性，通过感知学习各种手术实际操作，学习如何应付临床手术中的各类突发情况。

如Osso VR公司的同名产品使医学生和外科医生能够有效地熟悉典型案例，不断练习，直到整个手术过程变得信手拈来。SonocardProject是德国国家信息技术研究中心开发的一种交互式应用软件，详细的3D模型所产生的真实感，使学生能够像在现实环境下一样进行各种各样的心脏病理实验，提供心脏超声波检查方面的医疗培训和教育。国内类似的产品技术较少，北航的虚拟手术模拟器基本配置价格在60万左右，而国外的商业医学模拟器垄断了整个市场，具有绝对的定价权，一台以色列的腹腔镜手术模拟器基本配置大概在100万人民币左右，而且只有最基本的功能模块。可见VR在医疗手术模拟的市场发展前景是很不错的。

且随着医疗健康领域的发展，将产生更多的诊疗方案，进一步推进虚拟现实技术在各个医疗健康领域的应用，拓展虚拟现实的应用场景，催生新的模式业态，带来潜力巨大的市场。虚拟现实和医疗行业结合在实际应用中，将会为医学科技的发展注入新动力，帮助更多的患者获得更好的治疗和医疗服务。

3.2 相关政策支持

目前有多项政策支持虚拟现实技术在医疗中的应用，《虚拟现实与行业应用融合发展行动计划（2022—2026年）》指出加速多行业多场景应用落地，虚拟现实与教育培训结合；《虚拟现实医疗应用白皮书》提到虚拟现实正广泛应用于医疗行业，降低医疗复杂性和危险性；《工业和信息化部关于加快推进虚拟现实产业发展的指导意见》提出加快虚拟现实在医疗教学训练与模拟演练环节的应用

随着医疗健康领域的发展，将产生更多的诊疗方案，进一步推进虚拟现实技术在各个医疗健康领域的应用，拓展虚拟现实的应用场景，催生新的模式业态，带来潜力巨大的市场。

3.3 目标客户

1.医院机构，达成长期合作来成批售卖设备，提供给医生设备和软件服务，医生们可以将获取的脊柱模型上传到软件当中，来进行实时查看脊柱模型和手术模拟训练，从而更加精细地了解手术部位和情况。

2.学校机构，可以使用设备为学生们进行手术学习教学，进行脊柱侧弯等手术模拟实验，利用虚拟现实技术提供更加真实的场景，来提高学生们的专业能力。

3.医生或患者个人，可以使用设备在任何地区利用VR眼镜进行手术模拟，更加直观地了解手术步骤和操作方法，来提高技术能力或缓解心情，同时有软件社区服务供给医患、医医之间的交流。

4 销售策略

团队前期将会与医学院、医院等机构，进行定点投放进行实际测试，根据反馈进行调整，后期将会采用线上+线下双模式进行组合售卖。手术模拟系统将上线各个厂商的VR应用商店，各个用户均可以下载使用，所包含的功能仅有引导和演示模式，供用户了解脊柱侧弯手术，普及脊柱侧弯手术相关知识。

对于医生、实习医生、医学生等，提供更加专业的功能，我们产品分为基础款和高级款，针对不同需求的用户可以分别购买满足不同用户的需求和预算限制。

基础款提供基本的功能和较低的价格，适合那些对于功能要求不高或预算有限的用户；而高级款则在核心功能的基础上提供更先进、更全面的功能和增强体验，适合对技术创新和高水平模拟训练有较高要求的用户。划分为基础款和高级款不仅扩大了产品的市场覆盖范围，还提高了产品的竞争力。同时划分也有助于控制开发和生产成本，实现更高效的产品开发和管理。