医疗机器人通过观看手术视频学习缝合

在外科手术中,对患处进行缝合工作,往往是手术的最后一轮工作,但通常是一项单调的工作。英特尔和加州大学伯克利分校创建了一个机器人来处理这项繁琐单调的任务。

通过让AI学习熟练的医生学习缝合工作的视频,可以非常高精度地进行模仿,从而让机器人能够自动缝合患者的伤口。

加州大学伯克利分校的教授Ajay Tanwani教授机器人缝合手术,他开发了一个名为“ Motion2Vec”的系统,用于从视频图像中学习AI。在传统方法中,学习是通过静态方式完成的,或者通过模仿运动的轨迹来进行的,而Motion2Vec从视觉观察中学习的功能具有很大的吸引力。

人一次看到物体,就可以模仿物体的粗略运动。机器人(AI)则将其理解为以数十fps的速度流动的像素流。人工智能则需要努力解释图像,并用自己的动作代替它。

为了实现这一目标,研究团队决定使用Sham网络,Sham网络是训练AI神经网络的方法之一,并且是将两个图像的相似性或不相似性作为距离函数进行计算,是较早的机器学习方法之一。

由于此网络对两个输入之间的相似性进行排名和学习,因此可用于比较监控摄像头上看到的人的脸部和识别照片的脸部,以区分同一个人。另一方面,在这项研究中,旨在通过将医生手臂运动的视频图像与手术机器人手臂运动的图像进行对比,将机器人的运动提高到接近人类的水平。在仅学习了78个视频之后,机器人的分割精度就高达85.5%,平均误差为0.94 cm。

Tanwani认为这不会在将来消除外科医生的手术。经过这种技术训练的外科手术机器人想要在手术室中实际工作,还需要几年的时间。

当然,如果以正确的方式训练AI,不仅可能会缝合,还会学会完成更多辅助任务,例如清除死组织。不过,Tanwani表示,“相信能够帮助外科医生在外科手术上花费更少的时间,而将更多的时间用于更复杂的任务上”。

论文下载:

官网:https://sites.google.com/view/motion2vec

相关文章

Leave a Comment