AI“预测”外科手术步骤？准确率可达68.3%！研究团队在大脑中动脉瘤夹闭术中进行验证-INC国际神经外科

　　近几个月，人工智能（AI）在神经外科领域的突破令人可喜。不少神经外科医生和研究者已经尝试用AI识别、理解手术视频，并辅助临床手术。

　　今年5月，英国的外科医生就成功实施了全球首例AI实时辅助脑外科手术。AI系统在术中实时分析内镜画面、识别隐藏的血管与神经，为一名垂体瘤患者精准切除了肿瘤。患者目前已完全康复，视力显著改善。

　　今年6月,《手术前沿（Frontiers in Surgery）》上发表的一篇研究，在大脑中动脉瘤夹闭术中对AI预测外科手术步骤的能力进行了验证。INC罗顿教授（Michael T. Lawton）就参与其中。

《手术前沿（Frontiers in Surgery）》

　　罗顿教授是INC国际神经外科旗下世界神经外科顾问团（WANG）成员，他是美国巴罗神经研究所主席兼CEO，尤其擅长脑血管疾病，临床上负责脑动脉瘤的开放显微外科手术，脑动静脉畸形、脑海绵状血管畸形等的搭桥手术和颈动脉内膜切除术。

　　Part.2

　　三种模型比赛预测手术步骤

　　谁能胜出？

　　颅内动脉瘤夹闭术是一项极其复杂的神经外科手术。手术过程中，并没有一套完全固定的操作流程，因为每个患者的血管解剖都存在差异，术中的情况可能随时发生变化，手术步骤的先后顺序也需根据情况不断调整。能否及时判断接下来可能进行哪一步操作，直接关系到手术效率和安全，也会影响对年轻神经外科医生的培训。

　　因此，研究团队回顾性分析了由同一位神经外科医生实施的25例无并发症的大脑中动脉分叉动脉瘤夹闭手术，其中18例用于训练，7例用于独立测试。利用Transformer模型，结合此前60秒的显微手术视频和人工标注的手术步骤，预测随后60秒内可能出现的动脉瘤夹闭术步骤。

　　所有病例均被标注为12个标准化的手术步骤，包括外侧裂分离、M4至M2分支解剖、M1 段准备、动脉瘤颈分离、动脉瘤游离、近端控制、夹闭以及闭塞确认等。

　　研究比较了三种模型，CNN-LSTM主要负责从手术视频中提取视觉特征，Transformer则结合这些信息及手术流程的前后关系，预测随后可能出现的操作步骤。

　　*仅视频模型：先使用预先训练的CNN-LSTM处理显微手术视频帧，提取其中的视觉特征，再将这些特征输入Transformer，预测后续的手术步骤。

　　*仅步骤标签模型：不读取手术视频，而是将此前人工标注的真实手术步骤标签输入Transformer，根据已有的手术流程及上下文信息预测后续步骤。

　　*多模态模型：将手术视频中提取的视觉特征与此前人工标注的手术步骤标签相结合，再输入Transformer进行预测。

　　结果显示，在7例独立测试病例中，多模态模型的整体表现最好。

模型	平均准确率	加权F1值
仅视频模型	47.7%	47.7%
仅步骤标签模型	60.6%	47.7%
多模态模型	68.3%	67.3%

　　*准确率（Precision）：反映预测结果正确的比例。

　　*召回率（Recall）：反映实际检测到的实例的比例。

　　*F1值：准确率和召回率的调和平均。

　　与单独使用手术视频或此前的手术步骤相比，多模态模型同时结合两类信息，既能获取整体手术进程，也能获取局部视觉线索。因此，多模态模型对手术流程的预测更加准确，并且实现了最佳的时间对齐，也更好地保留了整体步骤顺序。

　　不同测试案例中预测手术步骤序列与真实序列的时间对齐情况。颜色表示不同的手术步骤，便于比较不同模型配置下的预测步骤时间、过渡方式及整体序列一致性。

　　仅视频模型通常表现出较高的精确率但较低的召回率，表明其预测结果通常是正确的，但遗漏了许多真实案例。

　　仅标注模型在较长且时间结构更复杂的手术步骤中表现出色，但对于较短的手术步骤则检测能力有限。

　　Part.2

　　手术步骤变化越多，预测越困难

　　当AI模型尝试预测下一分钟的手术时，它的任务并非总是相同。有时，继续进行当前的手术步骤是正确的预测，而有时手术将进入不同的手术步骤，有时AI模型甚至需要在1分钟内预测多个手术步骤。

　　这些不同情况的难度也并不一致。预测是否继续进行当前手术步骤，可能主要取决于对手术流程稳定性的识别，而预测手术步骤的改变则可能需要识别出手术流程正在发生变化的线索。为了描述AI所预测的目标，研究者量化了每个60秒预测区间是否位于同一手术步骤内。

　　结果显示，近一半的预测时限至少跨越了1个步骤边界，多模态模型的帧级准确率达到了为68.3%。当预测时限恰好跨越了2个步骤边界，准确率略有下降，为50.9%。而当预测时限跨越3个或更多手术步骤时，准确率下降至42.0%。这表明，预测时限内手术步骤转换次数越多，预测难度也越高。

　　Part.3

　　AI预测手术步骤的

　　难点和挑战

　　这项研究虽然初步验证了AI预测手术步骤的可行性，但距离临床应用仍缺少一套完整的自动化流程。研究中使用的是人工标注的真实手术步骤标签，而在实际的自动化系统中，如果前端对当前手术步骤的识别出现错误，误差可能继续传递到后面的预测环节，从而降低AI模型的整体性能。

　　此外，AI在神经外科手术的可行性还取决于能否克服数据生成带来的问题。

患者是否同意录制手术视频？
手术显微镜是否配备高质量的摄像设备？
视频质量能否经过验证？
生成的数据是否安全、匿名化？
存储设备是否能容纳巨大的影像数据？

　　由于每个病例都要由具备神经外科专业知识的人员进行审核和标注，这些因素使手术数据集的建设既耗时，又难以扩大规模。就脑血管神经外科手术而言，这些障碍尤为突出，因为脑血管神经外科手术的标准化程度相对较低，且复杂动脉瘤及不同血管区域的病例还会带来更多差异性。

　　结语

　　这项研究告诉我们，在受控实验条件下，AI确实可以对大脑中动脉瘤夹闭术接下来一分钟的手术步骤进行预测。其中，同时结合视觉信息和此前手术步骤信息的多模态模型表现得最出色。

　　作者承认，由于此前的手术步骤依然要靠人工来作标注，因此还没能形成从自动识别到自动预测的完整系统化流程。未来，AI在外科手术中的临床应用还需在更大、更多样化的病例中验证。

　　参考文献

　　On, T. J., Lawton, M. T., et al. (2026). Predicting future surgical steps during MCA aneurysm clipping using a multimodal transformer. Frontiers in Surgery, 13, Article 18277

　　INC 国际脑血管专家——Michael T. Lawton教授

　　INC国际 Michael T. Lawton 教授作为巴罗神经学研究所主席兼首席执行官，深耕于脑动静脉畸形的形成、遗传学特征和破裂的治疗，以及脑部血管瘤的血液动力学、破裂、数字建模等领域。他的临床研究包括血管瘤、动静脉畸形、颅内搭桥的微创治疗方法，以及微创治疗临床数据。

　　他发表了450多篇神经外科专业文章，撰写3部个人著作（动脉瘤手术治疗著作《七种脑动静脉畸形：切除原理和技巧》、《七种动脉瘤：夹闭术的原理和技巧》、《七种搭桥术：血运重建的原则和技术》），是70多本医学专业书籍的部分章节作者，获得近20项国际医学奖项，是600多个专业讲座及世界40多个神经外科机构的特邀教授。