2024年3月2日，我校生命科学与技术学院张旭明副教授在国际著名期刊《Medical Image Analysis》上发表了题为“TransVFS: A spatio-temporal local-global transformer for vision-based force sensing during ultrasound-guided prostate biopsy”的研究论文。

前列腺癌严重危害男性健康，其发病率居全球男性恶性肿瘤第二位。穿刺活检是诊断前列腺的金标准，但人工穿刺其阳性率不足50%。与人工穿刺相比，机器人辅助穿刺不仅能减少医生劳动强度，提高穿刺效率，而且可将前列腺癌穿刺阳性检出率提升约10%。因此，手术机器人近年来得到广泛关注。

目前，穿刺手术机器人普遍存在的问题是缺乏手术器械-软组织相互作用力的精确感知能力，这严重影响穿刺手术的安全性。解决该问题的传统途径是采用力传感器进行直接力感知，但其存在精度低或成本高、尺寸限制和生物兼容性等问题。基于视觉的力感知方法（Vision-based Force Sensing, VFS）是近年来流行的新方法，但现有方法主要基于光学成像设备获取的软组织浅层图像，借助卷积神经网络（Convolutional Neural Network, CNN）和循环神经网络（Recurrent Neural Network, RNN）等模型学习图像中的形变，从而间接实现力感知。由于软组织浅层形变难以有效反映穿刺力大小，同时CNN和RNN等模型缺乏长距离相关性捕获能力，导致现有方法难以实现穿刺力精确感知。

针对上述问题，研究团队首创了基于4D超声的力感知方法。该方法基于4D超声机获取的前列腺超声图像序列，借助时空Transformer从时域和空域学习软组织的整体形变，由此实时估计穿刺力大小。在前列腺体模和比格犬的超声数据上进行实验，结果表明：与目前主流的VFS方法及流行的Transformer模型相比，基于4D超声的力感知方法在穿刺力和力矩的MAE，rMAE，PCC等指标上全面占优，为实现机器人辅助前列腺穿刺手术中力的实时精确感知提供了有效新途径。该方法将基于视觉的手术导航和力感知这两个独立的任务统一在同一框架中，使利用导航系统同时实现手术导引和力感知成为可能，为视觉-力觉协同感知提供了新范式。

图1 基于4D超声的穿刺力感知方法框架

图2 用于穿刺力感知的时空Transformer模型

图3  超声图像及穿刺力金标准获取实验平台

图4 基于4D超声的VFS方法在比格犬超声数据集上的力和力矩估计结果

华中科技大学生命学院硕士生王一博为论文第一作者，生命学院张旭明副教授为通讯作者。该工作得到国家重点研发计划项目（2018YFE0206900）和国家自然科学基金面上项目（61871440）资助。

原文链接：

https://www.sciencedirect.com/science/article/pii/S1361841524000550?via%3Dihub