• 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
    • / 22
    • 下载费用:30 金币  

    重庆时时彩2d软件: 用于为操纵内窥镜设备的末端朝向一个或更多个界标转向提供视觉引导和在内窥镜导航中辅助操作者的系统.pdf

    摘要
    申请专利号:

    重庆时时彩单双窍门 www.4mum.com.cn CN201510994346.2

    申请日:

    2010.03.17

    公开号:

    CN105596005A

    公开日:

    2016.05.25

    当前法律状态:

    授权

    有效性:

    有权

    法律详情: 授权|||实质审查的生效IPC(主分类):A61B 5/06申请日:20100317|||公开
    IPC分类号: A61B5/06; G06T19/00(2011.01)I; A61B34/10(2016.01)N; A61B34/20(2016.01)N; A61B90/00(2016.01)N 主分类号: A61B5/06
    申请人: 直观外科手术操作公司
    发明人: G·普里斯科; V·多文戴姆
    地址: 美国加利福尼亚州
    优先权: 2009.03.26 US 12/411,501; 2009.03.26 US 12/411,515
    专利代理机构: 北京纪凯知识产权代理有限公司 11245 代理人: 赵志刚;赵蓉民
    PDF完整版下载: PDF下载
    法律状态
    申请(专利)号:

    CN201510994346.2

    授权公告号:

    ||||||

    法律状态公告日:

    2019.01.22|||2016.06.22|||2016.05.25

    法律状态类型:

    授权|||实质审查的生效|||公开

    摘要

    通过将向量的图形表示显示在当前图像附近来为内窥镜设备的操作者提供界标方向引导,所述当前图像由设置在内窥镜设备的末端处的图像捕获设备捕获并被显示在显示屏上,其中所述向量的图形表示指向将操纵内窥镜的方向以朝例如解剖结构的相关界标移动。通过确定内窥镜设备相对于参考系的当前位置和形状、根据确定的位置和形状产生内窥镜计算机模型,并与参考至参考系的病人计算机模型一起显示内窥镜计算机模型以便当操纵内窥镜时操作者可以看见,来为操作者提供视觉导航。

    权利要求书

    1.一种用于提供内窥镜导航引导的计算机执行的方法,所述方法包括:
    从计算机存储器获取解剖学上的计算机模型,所述解剖学上的计算机
    模型由断层扫描产生并且在所述内窥镜导航之前在没有参考至固定参考
    系的情况下被存储;
    将所述解剖学上的计算机模型参考至所述固定参考系;
    确定内窥镜设备相对于所述固定参考系的当前位置和形状;
    接收由所述内窥镜设备捕获的图像,同时所述内窥镜设备处于所述当
    前位置和形状;
    根据确定的所述当前位置和形状产生所述内窥镜设备的计算机模型;
    以及
    将所述内窥镜设备的所述计算机模型和所述解剖学上的计算机模型显
    示在显示器上,其中所述图像由所述内窥镜设备捕获。
    2.根据权利要求1所述的方法,其中配备有应变传感器的一个或更多
    个光纤延伸穿过所述内窥镜设备,以便提供所述内窥镜设备的形状信息。
    3.根据权利要求1所述的方法,其中配备有应变传感器的一个或更多
    个光纤被附接至所述内窥镜设备,以便提供所述内窥镜设备的位置信息。
    4.根据权利要求1所述的方法,其中所述内窥镜设备具有远端末端和
    图像捕获设备,所述图像捕获设备被定位以便捕获来自所述远端末端的透
    视图的图像,所述方法进一步包括:
    周期性地使用所述图像捕获设备捕获图像,并将所捕获的图像存储在
    存储设备中;以及
    在捕获图像时确定所述图像捕获设备的位置,并将所述位置存储在所
    述存储设备中。
    5.根据权利要求4所述的方法,其进一步包括:
    将对应于捕获图像时的时间标记存储在所述存储设备中。
    6.根据权利要求4所述的方法,其进一步包括:
    通过将多个所述捕获的图像镶嵌在一起来计算来自存储在所述存储设
    备中的所述捕获的图像的全景图像。
    7.根据权利要求6所述的方法,其进一步包括:
    将所述全景图像显示在所述显示器上的第一区域中;以及
    将所述内窥镜设备的所述计算机模型和所述解剖学上的计算机模型显
    示在所述显示器上的第二区域中。
    8.根据权利要求6所述的方法,其进一步包括:
    将所述全景图像显示在所述显示器上;以及
    将所述内窥镜设备的所述计算机模型和所述解剖学上的计算机模型作
    为所述全景图像上的画中画显示在所述显示器上。
    9.根据权利要求6所述的方法,其进一步包括:
    显示所述全景图像以便看起来来自所述内窥镜设备的所述计算机模型
    的远端末端的投影被显示在所述显示器上。
    10.根据权利要求1所述的方法,其中由所述内窥镜设备捕获的所述图
    像临近所述内窥镜设备的所述计算机模型的远端被显示。
    11.一种用于内窥镜导航系统,包括:
    显示器;
    内窥镜设备;以及
    处理器,其适于
    从计算机存储器获取解剖学上的计算机模型,所述解剖学上的计
    算机模型由断层扫描产生并且在所述内窥镜导航之前在没有参考至
    固定参考系的情况下被存储,
    将所述解剖学上的计算机模型参考至所述固定参考系,
    确定所述内窥镜设备相对于所述固定参考系的当前位置和形状,
    接收由所述内窥镜设备捕获的图像,同时所述内窥镜设备处于所
    述当前位置和形状;
    根据确定的所述当前位置和形状产生所述内窥镜设备的计算机模
    型;以及
    将所述内窥镜设备的所述计算机模型和所述解剖学上的计算机模
    型显示在所述显示器上,其中所述图像由所述内窥镜设备捕获。
    12.根据权利要求11所述的系统,其进一步包括:
    配备有应变传感器的一个或更多个光纤,所述一个或更多个光纤延伸
    穿过所述内窥镜设备,以便提供所述内窥镜设备的形状信息。
    13.根据权利要求11所述的系统,其进一步包括:
    配备有应变传感器的一个或更多个光纤,并且所述一个或更多个光纤
    被附接至所述内窥镜设备,以便提供所述内窥镜设备的位置信息。
    14.根据权利要求11所述的系统,其进一步包括:
    图像捕获设备,其设置在所述内窥镜设备的远端末端,以便捕获来自
    所述远端末端的透视图的图像;以及
    存储设备;
    其中所述处理器适于周期性地用所述图像捕获设备捕获图像,并将所
    捕获的图像存储在所述存储设备中,并且在捕获图像时确定所述图像捕获
    设备的位置,并将所述位置存储在所述存储设备中。
    15.根据权利要求14所述的系统,其中所述处理器适于将对应于捕获
    图像的时刻的时间标记存储在所述存储设备中。
    16.根据权利要求14所述的系统,其中所述处理器适于通过将多个所
    述捕获的图像镶嵌在一起,来计算来自存储在所述存储设备中的所述捕获
    的图像的全景图像。
    17.根据权利要求16所述的系统,其中所述处理器适于将所述全景图
    像显示在所述显示器上的第一区域中,并将所述内窥镜设备的计算机模型
    和所述解剖学上的计算机模型显示在所述显示器上的第二区域中。
    18.根据权利要求16所述的系统,其中所述处理器适于将所述全景图
    像显示在所述显示器上,并将所述内窥镜设备的计算机模型和所述解剖学
    上的计算机模型作为所述全景图像上的画中画显示在所述显示器上。
    19.根据权利要求16所述的系统,其中所述处理器适于显示所述全景
    图像以便看起来来自所述内窥镜设备的所述计算机模型的远端末端的投影
    被显示在所述显示器上。
    20.根据权利要求11所述的系统,其中由所述内窥镜设备捕获的所述
    图像临近所述内窥镜设备的所述计算机模型的远端被显示。

    说明书

    用于为操纵内窥镜设备的末端朝向一个或更多个界标转向提供视觉引导和在内窥镜导航中辅助操作者的系统

    本申请是国际申请日为2010年3月17日、进入国家阶段日为2011
    年11月25日的名称为“用于为操纵内窥镜设备的末端朝向一个或更
    多个界标转向提供视觉引导和在内窥镜导航中辅助操作者的系统”的
    中国专利申请201080023187.7的分案申请。

    技术领域

    本发明大体涉及可操纵的内窥镜,并且具体地涉及用于为向一个
    或更多个界标(landmark)操纵内窥镜设备的末端提供视觉引导和在
    内窥镜导航中辅助操作者的方法和系统。

    背景技术

    微创手术过程被公知为比传统的开放性手术提供了更多优点,包
    括疼痛少、缩短住院期、更快地恢复正?;疃?、伤疤小、缩短恢复时
    间以及对组织伤害小。为了执行这些过程,必须通过切口或自然的体
    孔产生到病人体内的入口??梢允褂没魅撕褪侄⒋词质跎璞?。

    微创手术机器人系统的一个示例是加利福利亚州森尼韦尔的直观
    外科公司(IntuitiveSurgical,Inc.)da手术系统。da手术
    系统具有若干个机器人臂,该若干个机器人臂移动所附的医疗设备,
    例如图像捕获设备和直观外科公司专有的铰接手术器械,
    以响应于通过外科医生查看由图像捕获设备在手术处捕获的图片而引
    起的输入设备的移动。每个医疗设备均可以通过其自己的微创切口插
    入病人体内并被定位,从而在手术处执行治疗程序。切口位于病人身
    体上,一遍手术器械可以被用来协作地执行治疗程序并且图像捕获设
    备可以查看该治疗程序,而在该程序中它们的机器人臂不相碰撞。

    内窥镜是这样的一种医疗设备,即其允许医生通过将该设备通过
    自然体孔或手术产生的开口插入并将其引导至病人体内的目标位置,
    从而捕获诊断内部身体器官问题的图像。在一些情况下,它还可以被
    用来在内部身体器官上执行治疗程序。它可操纵使得其远端出于导航
    的目的而被可控制地取向。例如立体镜或单视场镜相机的图像捕获设
    备可以被设置在其远端,使得由相机从那个视图捕获的图像可以由医
    生在显示屏上查看。为了在目标位置执行各种治疗程序,例如用于切
    割、抓紧、烧灼等的那些手术工具可以延伸出内窥镜的远端。

    内窥镜可以是刚性的,例如用在腹腔镜检查中的内窥镜,或者它
    可以是柔性的,使得它能够遵循身体腔管的弯曲。它还可以是可刚化
    的(rigidizable)和/或机器人的??筛栈诳凳蔷哂兄辽僖徊糠秩嵝?br />体的内窥镜,机械锁定机构可以使得该至少一部分柔性体变得基本刚
    性?;魅四诳凳侨嵝阅诳?,其至少一部分在计算机控制的伺服
    机构下弯曲。它还可以是像奥林巴斯(Olympus)的胶囊内镜
    (EndoCapsule)的胶囊或栓系胶囊,在这种情况下,它没有被可控地
    取向用于导航目的,并且在病人解剖中在重力、由解剖或其他手术设
    备施加的力的作用下移动。

    自然孔腔内内窥镜手术(“NOTES”)可以采用可操纵的内窥镜
    来在病人上执行手术程序。作为示例,柔性内窥镜可以被引导穿过多
    个体孔中的一个体孔并从病人体内进入腹部,而不是从外面穿过微创
    切口。例如,在“经胃”手术中,器械被穿过嘴并进入胃中。然后执
    行胃切开术,使得器械可以进入腹部并被医生用来在腹腔内执行治疗
    程序。一旦程序完成,器械与在程序期间被去除的组织一起被取出,
    并且进入点被关闭。因为没有在病人身体上产生切口以允许内窥镜的
    进入,NOTES可以比使用微创切口的手术带来更少疼痛。而且,由于
    它使用自然体孔代替切口以进入体内,它可以降低对一般的麻醉的需
    求并缩短恢复时间。

    在可操纵内窥镜的操作中,例如在NOTES应用中,当朝目标位
    置移动时,内窥镜末端可以被转动多次并处于不同的方向。因此,柔
    性内窥镜可能卷起,围绕其自身打卷并使操作者失去方向,如果内窥
    镜捕获的图像不能清楚地指示其相对于目标位置的当前方向,就会使
    得操作者难以保持对内窥镜末端的当前方向的跟踪。相反,操作者可
    以具有至常规腹腔镜检查中的视图的相对刚性的连接。

    如果操作者意外地在错误的方向移动内窥镜,则末端可能无意地
    穿孔或者损害组织,这对病人引起伤害。即使这种伤害通过小心地移
    动内窥镜末端来避免,也需要额外的时间来重复地确定内窥镜相对于
    病人体内的目标位置的真正方向。因此,实施手术程序所需的时间被
    延长,这增加了手术的成本并且增加了对健康安全的忧虑。

    发明内容

    因此,本发明的一个或更多个方面的目的是为操作者提供视觉引
    导用于朝向病人体内的一个或更多个界标操纵内窥镜设备的方法和用
    于执行该方法的系统。

    本发明的一个或更多个方面的另一个目的是提供导航用于辅助操
    作者朝病人体内的位置操纵内窥镜。

    本发明的一个或更多个方面的另一个目的是向内窥镜的操作者提
    供信息的方法和用于执行该方法的系统,所述信息在视觉上指示内窥
    镜末端当前指向的方向。

    本发明的一个或更多个方面的另一个目的是为内窥镜的操作者提
    供信息的方法和用于执行该方法的系统,所述信息在视觉上指示内窥
    镜相对于病人解剖结构的当前位置和形状。

    这些目的和另外的目的通过发明的各方面实现,其中简要地描述
    为,一方面是用于提供引导以朝一个或更多个界标操纵内窥镜设备的
    计算机执行的方法,该方法包括:确定相对于参考系的内窥镜设备上
    的参考点的当前位置;确定从参考点的当前位置到第一界标相对于参
    考系的位置的第一向量;将第一向量从参考系变换为对应于图像捕获
    设备的透视图的图像参考系,图像捕获设备设置在内窥镜设备的末端;
    并且在显示屏上显示所转换的第一向量的图形表示和由图像捕获设备
    捕获的当前图像,以便指示朝第一界标操纵内窥镜设备的末端的方向。

    另一方面是一种系统,其包括:显示屏;内窥镜设备;和一个或
    更多个处理器,该处理器适于确定相对于参考系的内窥镜设备上的参
    考点的当前位置、确定从参考点的当前位置到第一界标相对于参考系
    的位置的第一向量、将第一向量从参考系转换为对应于设置在内窥镜
    设备末端的图像捕获设备的透视图的图像参考系、并在显示屏上显示
    所转换的第一向量的图形表示和由图像捕获设备捕获的当前图像,以
    便指示朝第一界标操纵内窥镜设备的末端的方向。

    另一方面是用于在内窥镜导航中辅助操作者的计算机执行的方
    法,该方法包括:将病人的计算机模型引用至参考系;确定相对于参
    考系的内窥镜设备的当前位置和形状;根据所确定的当前位置和形状
    产生内窥镜设备的计算机模型;以及在显示屏上显示内窥镜设备和病
    人的计算机模型,以便为操作者提供内窥镜导航辅助。

    另一方面是一种系统,该系统包括:显示屏;内窥镜设备;和处
    理器,该处理器适于将病人的计算机模型引用至参考系,确定相对于
    参考系的内窥镜设备的当前位置和形状,根据所确定的当前位置和形
    状产生内窥镜设备的计算机模型,以及在显示屏上显示内窥镜设备和
    病人的计算机模型,以便为系统的操作者提供导航辅助。

    本发明的各方面的另外的目的、特征和优点根据对优选实施例的
    以下描述将变得显而易见,应当结合附图对优选实施例进行说明。

    附图说明

    图1图示说明了利用本发明的多个方面的可操纵内窥镜系统。

    图2图示说明了利用本发明的多个方面的可操纵内窥镜系统的处
    理部分的方框图。

    图3图示说明了利用本发明的多个方面的可操纵内窥镜系统的遥
    控操作部分的方框图。

    图4图示说明了用于在内窥镜导航中辅助操作者的计算机执行的
    方法的流程图,其利用了本发明的多个方面。

    图5是图示说明了利用本发明的多个方面的可操纵内窥镜系统的
    位置确定部分的部件。

    图6图示说明了主显示屏,其显示了当在利用本发明的多个方面
    的系统中看到的由可操纵内窥镜捕获的图像。

    图7图示说明了辅助显示屏,其显示了由利用本发明的多个方面
    的系统产生的登记病人和内窥镜设备模型的前后视图
    (anterior-posteriorview)。

    图8图示说明了辅助显示屏,其显示了由利用本发明的多个方面
    的系统产生的病人和内窥镜设备模型的斜视图(obliqueview)。

    图9图示说明了辅助显示屏,其显示了由利用本发明的多个方面
    的系统产生的病人和内窥镜设备模型的中部侧视图(lateral-medial
    view)。

    图10图示说明了主显示屏,其将内窥镜设备捕获的图像显示在主
    窗口区域,并将由利用本发明的多个方面的系统产生的病人和内窥镜
    设备模型的斜视图显示在图中图窗口区域。

    图11图示说明了主显示屏,其将由内窥镜设备捕获的图像显示在
    第一区域中,并将由利用本发明的多个方面的系统产生的病人和内窥
    镜设备模型的斜视图显示在第二区域中。

    图12图示说明了利用本发明的多个方面的提供方向引导以向一
    个或更多个界标操纵内窥镜设备的计算机执行的方法的流程图。

    图13图示说明了利用本发明的多个方面的用于当其由界标移动
    时使用内窥镜设备建立界标的计算机执行的方法的流程图。

    图14图示说明了内窥镜设备插入其中的病人躯干的斜视图和在
    利用本发明的多个方面的系统中采用的各种界标的示例。

    图15图示说明了主显示屏,其根据利用本发明的多个方面的方法
    显示了由内窥镜设备捕获的当前图像和指示到相应界标的方向的各种
    向量的图形表达以及与其中一个界标相关的图像。

    具体实施方式

    作为示例,图1图示说明了系统100,该系统100包括可操纵内
    窥镜110、插在内窥镜110中的一个或更多个光纤线缆120、位置处理
    器130、图像处理器140、图像捕获设备141、显示处理器150、主显
    示屏600和辅助显示屏160。尽管被示为单独的单元,但位置处理器
    130、图像处理器140和显示处理器150分别均可被实施为硬件、固件、
    软件或其组合,其与一个或更多个计算机交互或者由一个或更多个计
    算机执行,例如图2中所描述的一个或更多个计算机200。主显示屏
    600和辅助显示屏160优选为能够将三维图像显示给系统100的操作
    者的计算机监视器。然而,出于成本的考虑,主显示屏600和辅助显
    示屏160中的任一个或者两者可以是仅能够显示二维图像的标准计算
    机监视器。

    在此示例中,内窥镜110具有柔性的主体114、在其远端111处
    的可操纵的末端112和在其近端115处的手柄或机电界面116??刂?br />线缆(未示出)或其它控制装置通常从手柄或机电界面116延伸到可
    操纵的末端112,使得末端112可以可控制地被弯曲或转向,例如如
    弯曲末端112的虚线视图所示。尽管在此示例中描述了可操纵的内窥
    镜,但本发明不限于这种类型的内窥镜,并且也可以实践于其它内窥
    镜设备(例如,刚性的、可刚化的、机器人的或胶囊内窥镜)。

    立体镜或单视场镜相机141设置在远端111处,用于根据如此处
    公开的本发明的各方面捕获图像,该图像被传递至图像处理器140和/
    或显示处理器150并由图像处理器140和/或显示处理器150处理,并
    被显示在主显示屏600和/或辅助显示屏160上。多个光纤线缆120中
    的一个可以在其近端被联接至远端111处的用于照明目的的光源(未
    示出)。其他光纤线缆120可以配备有弯曲或形状传感器,例如光纤
    布拉格光栅(FiberBraggGratings)(或其他应变传感器,例如应用瑞
    利散射(Rayleighscattering)的那些应变传感器),使得穿过光纤线
    缆的光被位置处理器130处理以确定内窥镜110的当前位置和形状,
    包括其远端112的取向。除了延伸穿过内窥镜110的光纤线缆120之
    外,配备有应变传感器的一个或更多个另外的光纤线缆(未示出)可
    以被附接到内窥镜110,以便提供在附接点处内窥镜110的位置信息。

    当可操纵的内窥镜110由操作者手动操作时,手柄116与合适的
    杆或其他(多个)控制机构一起使用,用于通过拉动合适的线缆(未
    示出)来可控制地取向内窥镜末端112,该线缆将手柄116的这些控
    制机构联接至末端112。另一方面,当可操纵的内窥镜110由操作者
    远程操作时,机电界面116被用来代替手柄。

    如图3所示,机电界面116允许内窥镜110被电联接且机械联接
    至机器人臂301,机器人臂301的运动由控制器302控制以响应于输
    入设备303的操作者操作。界面116和机器人臂301中的任一个或者
    两者包括驱动被用来操纵内窥镜末端112的线缆的马达。除了控制内
    窥镜末端112的弯曲之外,机器人臂301还可以被构造为将内窥镜110
    插入病人体内的孔(例如,自然孔或微创切口)中和/或将内窥镜110
    从病人体内的孔中取出,绕其中心轴旋转内窥镜110,和/或在孔处绕
    支点旋转机电界面116??刂破?02优选与处理器130、140、150一
    起被实施为一个或更多个计算机200中的硬件、固件或软件(或其组
    合)。

    关于使用光纤布拉格光栅确定内窥镜的位置和弯曲的细节例如可
    以在以下文件中找到:题为“RoboticSurgerySystemIncludingPosition
    SensorsUsingFiberBraggGratings”的美国专利文献2007/0156019A1;
    题为“FiberOpticPositionand/orShapeSensingBasedonRayleighScatter”
    的美国专利文献2008/0212082A1;题为“RoboticSurgicalInstrumentand
    MethodsusingBraggFiberSensors”的美国专利文献2008/0218770A1;
    以及题为“FiberOpticShapeSensor”的美国申请序列号12/164,829。
    这些专利文献均被合并至此以供参考。关于常规的可操纵内窥镜的细
    节可以在例如题为“SteerableEndoscopeandImprovedMethodof
    Insertion”的美国专利文献6,869,396B2中找到。

    作为示例,图4图示说明了用于在朝向病人体内的某位置的可操
    纵内窥镜110的内窥镜导航中辅助操作者的计算机执行的方法400的
    流程图。这种情况下的计算机优选为包括处理器130、140、150的一
    个或更多个计算机200。

    在步骤401处,存储在存储器155中的病人计算机模型通过活体
    病人身体上的第一参考点被参考至固定的参考系(即,在使用内窥镜
    110执行的治疗程序期间不移动的参考系),该病人一般俯卧在具有
    固定的参考系的手术台上,之后将参考点与病人计算机模型上的对应
    点相关联。

    例如,通过使用在固定的参考系(例如,内窥镜的末端112)中
    其末端位置可能已经被确定的指示器设备,操作者可以移动该指示器
    设备,使得它首先接触病人的嘴以建立对应于病人计算机模型的嘴的
    第一参考点。之后,操作者可以移动该指示器设备,使得它接下来接
    触病人的髂骨的左右脊,以建立对应于病人计算机模型的髂骨的左右
    脊的第二参考点。例如脐点和左右腋窝的其他点也可以被用来建立更
    多的参考点。通过以此方式将病人计算机模型参考至病人,可以建立
    病人计算机模型的合适尺寸(即,长度和宽度),并与病人和它在固
    定的参考系中的位置对齐。因此,通过少数点,病人计算机模型可以
    使用存储器155中的人体测量值数据库中的模型信息被适当地缩放并
    与病人对齐(即相符合)。

    若干个病人计算机模型可以被存储在存储器155中。例如,一些
    普通的病人计算机模型可以被存储,使得可以根据病人的年龄、性别、
    体型等使用不同的模型。优选地,每个模型均是三维计算机模型,包
    括至少头部和躯干(例如,如图7-9中所见),以便包括用于在病人
    身体上执行诊断或手术程序的所有自然孔以及潜在目标位置。实际病
    人的三维计算机模型还可以被储存,并且如果可用的话,则可以用于
    现有系统,例如可以使用计算机断层(CT)扫描产生??商婊坏?,外
    科医生或者助手可以在病人身体的表面上移动远端112,以绘制其轮
    廓并给位置处理器130提供充分的信息以产生关于病人的三维计算机
    模型的信息,其存储在存储器155中。

    在步骤402处,确定操作者是否已经发出开始引导命令。操作者
    可以以多种方式中的任一种方式发出开始引导命令,例如当可操纵内
    窥镜110被远程控制时压下输入按钮或者按输入设备303上的开关,
    或者当可操纵内窥镜110被手动控制时压下输入按钮或者按手柄116
    上的开关。其他方式可以包括使用麦克风和声音识别处理器(未示出)
    的声音致动,声音识别处理器可以在一个或更多个计算机200中实施
    或者可以可操作地联接至一个或更多个计算机200;脚踏板(未示出),
    其可以由操作者压下以便打开或者关闭引导;以及使用辅助显示屏
    160、主要显示屏600或操作者可以使用输入设备与其交互作用的另一
    显示屏的图形用户界面。

    如果在步骤402中确定的结果为“否”(即,操作者没有启动导
    航引导模式),则方法通过步骤402循环每个过程循环(或其他编程
    的循环),直到做出“是”的确定,此时,方法进行到步骤403。

    在步骤403处,内窥镜110的当前位置和形状(例如,弯曲)通
    过使用从一个或更多个光纤接收的信息由位置处理器130确定,该光
    纤被配备有已经插入内窥镜110的内窥镜柔性体114中的形状传感器。
    作为这一光纤的示例,参考图5,光纤501的远端延伸至内窥镜的末
    端112并且其近端被附接至基点502,基点502在固定的参考系中的
    位置是已知的或者容易由位置处理器130确定。优选地,位置处理器
    130也被附接至或者其他方式联接至基点502,使得处理器130可以在
    该点处接收来自光纤501的弯曲传感器的信息。

    由于光纤线缆501的长度是已知的,其近端被固定至已知的位置,
    并且其远端延伸出内窥镜的末端112,所以末端112在固定的参考系
    中的当前位置和取向根据如从弯曲传感器接收的信息所指示的光纤
    501的当前弯曲被容易地确定。尽管为了图示说明的目的仅示出了一
    个光纤线缆501,但是配备有应变传感器的多个光纤或具有多个芯的
    单个光纤被优选地采用,用于确定内窥镜主体114和远端112的形状,
    例如,如在之前引用并入的美国专利文献2007/0156019A1、美国专利
    文献2008/0212082A1和美国申请序列号12/164,829中使用形状传感器
    所描述的。

    在步骤404处,指示柔性内窥镜110的当前构造的计算机模型通
    过使用存储在存储器155中的内窥镜模型并将其修改以反映从光纤接
    收的形状信息而产生,光纤被构造为形状传感器。优选地,所存储的
    和产生的内窥镜110的计算机模型两者都是三维模型。

    在步骤405处,在步骤401中产生的病人计算机模型和在步骤404
    中产生的内窥镜计算机模型一起根据它们在固定参考系中的相应位置
    相对于彼此被适当地标示在辅助显示屏160上。因此,向可操纵内窥
    镜110的操作者提供了相对于病人身体的内窥镜110的当前形状的视
    图,以便为操作者在将内窥镜110导航至病人体内的目标位置提供引
    导。目标位置的视觉指示也可以与计算机模型或内窥镜110在其至目
    标位置的路径中可能遇到或者穿过的任何解剖结构或体腔的其它指示
    一起被显示。

    病人和内窥镜计算机模型被显示在辅助显示屏160上的方式优选
    为由操作者可通过使用许多已知技术中的一种或者更多种选择,这些
    已知技术例如设置在辅助显示屏160和/或主显示屏600上的可点击图
    标和下拉菜单。例如,图标可以被设置在辅助显示屏160上,使得操
    作者可以通过使用计算机鼠标或者其他合适的设备点击合适的图标来
    选择病人和内窥镜110的前后视图750、斜视图751或者中部侧视图
    752,例如,如图7、图8和图9所示。

    参考图7,病人计算机模型720和内窥镜计算机模型710的前后
    视图750和沿内窥镜路径(例如,嘴入口、食道、胃入口和结肠)的
    各种界标的指示一起被显示在辅助显示屏160上。另外,由内窥镜110
    捕获的实时图像(例如,图6中所示的捕获图像650被显示在主显示
    屏600上)也可以被显示在辅助屏160上,邻近内窥镜计算机模型710
    的远端711(或者看起来从内窥镜计算机模型710的远端711传出)。

    除了(或者可代替)在辅助显示屏160上显示病人和内窥镜计算
    机模型720和710,计算机模型可以与捕获的图像650一起显示在主
    显示屏600上。例如,斜视图751可以被示为插入主显示屏600上的
    捕获图像650的画中画,如图10所示,或者它可以被显示在邻近图
    11所示的主显示屏600上的捕获图像650的窗口的窗口中。

    回过来参考图4,在步骤406中,确定操作者是否已经发出停止
    引导命令。操作者可以以与操作者发出启动引导命令的方式类似但互
    补的多种方式中的任一种方式发出停止引导命令。

    如果在步骤406中确定的结果为“否”(即,操作者没有停止导
    航引导模式),则方法循环至步骤403以更新内窥镜110的当前位置
    和弯曲,并为下一个过程循环(或者其他编程的循环)显示内窥镜计
    算机模型和病人计算机模型。另一方面,如果在步骤406中确定的结
    果为“是”(即,操作者已经停止导航引导模式),则方法进行至步
    骤407处,在步骤407中,显示处理器150引起病人和内窥镜的计算
    机模型不再被显示在辅助显示屏160和/或主显示屏600上,或者将它
    们定格在显示屏上。

    在整个内窥镜程序期间,从内窥镜110插入病人体内开始,建议
    的方法和发明将相机141(在内窥镜110的远端112处)周期性捕获
    的图像的数字形式和在图像被捕获的时刻(例如,在30HZ的处理速
    率下)相对于病人解剖结构的(如位置处理器所130确定的)相机141
    的三维(3-D)位置和取向信息存储在存储设备155中。指示时间的时
    间标记也被存储在存储设备155中。最终数据库提供由它们各自在参
    考系中的3-D位置所标记的内窥镜图像,其可以在任何连续的时间被
    显示处理器150获取,用于计算访问的解剖结构的合成二维(2-D)和
    三维(3-D)视图。因此,内窥镜程序的全记录可以被存储在存储设备
    155(优选为用于此应用的大容量存储设备,例如硬盘)中,其可以在
    显示屏600和160上回放,用于教学和/或档案目的。

    第一合成的2-D视图可以根据被称为镶嵌(mosaicking)(例如,
    见R.Szeliski和H.Y.Shum的具有重大影响的著作“Creatingfullview
    panoramicimagemosaicsandenvironmentmaps”,ACMSIGGRAPH,
    1997)的已知计算机视觉技术通过将从相邻3-D位置取得的多个内窥
    镜图像组合(拼接在一起)成单个较大的全景图像而被计算生成。内
    窥镜全景允许通过提供较大的视场改进内窥镜导航,之后内窥镜相机
    因此能够将对周围解剖结构的更多关注传递给外科医生。因此,此处
    在主显示屏600上的各种图中所示的捕获图像优选为由显示处理器
    150通过将从存储设备155获得的图像镶嵌而产生的全景图像,其表
    示相机141最新捕获的图像。

    作为另外的内窥镜导航工具,显示至之前限定的病人体内的界标
    的操纵方向的图形指示也被提供作为本发明的一方面。

    作为示例,图12图示说明了用于提供方向引导以移动可操纵内窥
    镜110至病人体内的一个或更多个界标的计算机执行的方法1200的流
    程图。在这种情况下计算机优选为包括处理器130、140、150的一个
    或更多个计算机200。

    在步骤1201处,确定操作者是否打开界标方向引导模式。操作者
    可以以多种方式中的任一方式打开和/或关闭该模式,例如当可操纵内
    窥镜110在被远程控制时压下输入按钮或者按输入设备303上的开关,
    或者当可操纵内窥镜110在被手动控制时压下输入按钮或者按手柄
    116上的开关。其他方式可以包括使用麦克风和声音识别处理器(未
    示出)的声音致动,其可以被实施在一个或更多个计算机200中或者
    被可操作地联接至一个或更多个计算机200中;脚踏板(未示出),
    其可以被操作者压下以便打开或者关闭该模式;以及使用显示屏600
    的图形用户界面(GUI)202,操作者可以使用图2所示的输入设备201
    与其交互以便打开和关闭该模式和说明此处所述方法的其他方面或参
    数。

    如果在步骤1201中确定的结果为“否”(即,界标方向引导被关
    闭),则该方法在每个过程循环(或者其他编程的循环)中循环经过
    步骤1201,直到做出肯定的确定结果,此时,该方法进行至步骤1202。

    在步骤1202,内窥镜末端112在固定参考系(即,在使用内窥镜
    110的医疗程序的执行过程中不移动的参考系)中的当前位置通过使
    用从配备有应变传感器的光纤(例如,图5中的光纤501)接收的信
    息由位置处理器130确定,光纤已经被插入内窥镜110的柔性体114
    中。

    内窥镜末端112在固定的参考系(例如,如之前在参考图4的403
    所解释的)中的当前位置和取向可以根据光纤的当前弯曲被容易地确
    定,光纤的当前弯曲如从它们的应变传感器接收的信息所指示,这是
    因为它们的长度是已知的,它们的近端被固定至已知位置(例如,如
    图5所示,至基点502的光纤501),并且它们的远端延伸至内窥镜
    的末端112。

    在步骤1203中,将内窥镜末端112的当前位置连接至每个界标的
    位置的向量通过使用在步骤1202处确定的内窥镜末端位置和存储在
    存储设备155中的界标位置由显示处理器150确定,其中引导指示被
    提供至所述每个界标。

    通常,当操作者沿其路径引导可操纵内窥镜110从进入点至病人
    体内的目标位置时,界标由他或她建立。作为示例,图14示出了病人
    的头部和躯干的斜视图,其中可操纵内窥镜110通过病人的嘴进入,
    并且内窥镜末端112被引导至目标位置。在此示例中,内窥镜110已
    经被引导穿过食道至病人的胃。之后,进入胃并且内窥镜110被引导
    至目标位置。沿着该路径,使用如以下参考图13描述的方法在嘴入口
    和胃入口处建立界标。

    可替换地,病人体内界标的位置可以基于术前测量的数据,例如
    通过计算机轴向断层扫描(CAT)、磁共振成像(MRI)或者X射线
    产生的数据。在这种情况下,病人的身体(当他或她躺在手术室手术
    台上时)被参考至固定的参考系,并且界标以病人的身体被登记,使
    得它们在固定的参考系中的位置可以由它们各自在病人身体中的位置
    确定。之后,界标位置被存储在存储设备155(或者显示处理器150
    可存取的其他存储设备)中。尽管以此方式建立界标可能费时间并且
    昂贵,但它允许此处描述的方法提供至内窥镜末端112前面(即,在
    内窥镜末端的当前位置和目标位置之间)的界标的引导,而不是内窥
    镜末端后面(即,在到病人体内的入口点与内窥镜末端的当前位置之
    间)。

    在步骤1204处,在步骤1203中确定的向量被显示处理器150从
    固定的参考系被转换至与内窥镜末端112(或者相机141)有关的参考
    系。

    在步骤1205处,指示在步骤1204中确定的转换向量的3-D箭头
    (或者其他图形表示)由显示处理器150产生。3-D箭头的方向被参
    考至内窥镜末端的参考系,使得它们对应于操作者使用之前所述的手
    柄或者机电界面116操纵内窥镜末端112的方向。

    另一方面,3-D箭头的尺寸可以产生以便与转换向量的幅值成比
    例,使得较远的界标用较大的箭头表示。作为替代,可以产生尺寸以
    便与转换向量的幅值成反比,使得较远的界标用较小的箭头表示。作
    为另一种替代,可以产生尺寸以便每个均具有相同的长度(例如,图
    15中箭头1511、1512和1513所示)。

    3-D箭头也可以是颜色编码的,使得每个箭头的颜色都唯一地与
    具体的解剖结构有关。例如,参考图15,指示朝嘴入口界标的操纵方
    向的3-D箭头1511可以是红色的,指示朝胃入口界标的操纵方向的
    3-D箭头1512可以是黄色的,并且指示朝结肠入口界标的操纵方向的
    3-D箭头1513可以是蓝色的??商婊坏?,显示屏600的边缘可以被着
    色以对应于界标。此处使用的颜色方案可以是操作者限定的或者对应
    于在MR观察器上使用的颜色方案。

    在步骤1206处,在步骤1205中产生的3-D箭头(或者其他图形
    表示)和当前图像(在内窥镜末端112处当前捕获并由图像处理器140
    处理的图像,或者如之前所述的使用当前和之前捕获的图像镶嵌的全
    景图像)由显示处理器150显示在主显示屏600上。另外,界标的之
    前捕获的图像也可以可选择地或者自动地从存储设备155取得并且临
    近或者接近它们各自的3-D箭头被显示。3-D箭头的位置可以被显示
    在显示屏600上,以便与转换向量的取向相关,使得例如指向左边的
    箭头被定位在图像的左侧,并且指向右边的箭头被定位在图像的右侧。
    可替换地,3-D箭头可以都被定位在图像的同一侧附近或者在图像周
    围间隔开。在显示屏600的边缘被着色以对应于界标的情况下,对应
    于每个界标的3-D箭头被显示在其各自的被着色边缘附近,使得3-D
    箭头与界标的联系是清楚的。

    除了将界标显示为主显示屏600上的当前内窥镜图像上或附近的
    3-D箭头,界标可以与被显示在辅助显示屏160上的3-D病人和内窥
    镜计算机模型一起被显示,其中存储的界标的位置被显示在它们相对
    于病人计算机模型的合适位置中。例如,界标可以通过具有界标名称
    的文字标识、具有与界标一起被捕获的存储的内窥镜图像的缩略图、
    与界标的类型相关或者与界标的近似3-D模型相关的小图标来指示。

    操作者可以选择哪个界标(如果有的话)被显示,例如使用输入
    设备201和GUI202来从菜单选择一个显示部分,包括:所有界标图
    像均被显示,无界标图像显示,和仅最近的界标图像被显示??商婊?br />地,操作者可以不被提供被预选和编程到显示处理器150中的选项和
    选择。用于在显示屏600上显示3-D箭头的位置、尺寸、颜色和其他
    选项可以由操作者通过使用如图2所示的输入设备201和GUI202来
    选择。

    作为这种显示的示例,图15示出了将当前图像1501(即,由内
    窥镜110当前捕获的图像或者别处描述的全景图像)以及箭头1511、
    1512和1513显示在其上的显示屏600,箭头1511、1512和1513分别
    提供至嘴入口、胃入口和结肠入口界标的方向引导。另外,结肠入口
    界标的之前捕获的图像1523被示出为被显示在邻近其相关箭头1513
    的窗口中,其恰好是至内窥镜末端112的当前位置最近的界标。

    在步骤1207处,确定操作者是否已关闭界标方向引导模式。操作
    者可以以与操作者打开界标引导模式的方式类似但相反的多种方式
    (例如,将开关放置在“关”与“开”的位置)中的任一种方式关闭
    该模式。

    如果在步骤1207中确定的结果为“否”(即,界标方向引导模式
    还没有被操作者关闭),则该方法循环回步骤1202以便当内窥镜末端
    112正被引导至目标位置时更新界标方向向量(例如,图15中的1511、
    1512、1513)并将转换向量的更新图形表示以及内窥镜110捕获的当
    前图像显示在显示屏600上。另一方面,如果在步骤1207中确定的结
    果为“是”(即,界标方向引导模式已经被操作者关闭),则该方法
    前进至步骤1208,在步骤1208中,显示处理器150引起转换向量的
    图形表示和相应的界标捕获图像不再被显示在显示屏600上。

    将意识到,即使界标方向引导模式可能被关闭,操作者仍可以朝
    目标位置引导可操纵内窥镜110,并且在内窥镜末端112处捕获(并
    由图像处理器130处理)的连续更新的图像仍可以被显示处理器150
    显示在显示屏600上。例如,参考图15,在操作者关闭界标方向引导
    模式之后,显示屏600仍可以使当前或全景图像1501显示在其上,但
    箭头1511、1512、1513和界标图像1523则不再被显示。

    还应意识到,操作者可以交互地建立界标,当朝目标位置引导可
    操纵内窥镜110时可以在任何时刻提供该界标的方向引导。具体地,
    当界标方向引导模式打开以及关闭时可以执行界标建立。

    作为示例,图13图示说明了当可操纵内窥镜110被引导穿过病人
    身体时用于建立解剖结构界标的计算机执行的方法1300。与参考图12
    描述的方法1200的情况类似,该情况下的计算机优选为包括处理器
    130、140、150的一个或更多个计算机200。具体地,其优选与由显示
    处理器150执行的其他活动一起由显示处理器150执行,如此处所述。

    在步骤1301处,接收来自操作者的界标建立请求。操作者可以以
    各种已知的交互技术中的任一种启动请求,这些已知的交互技术包括
    之前参考打开和关闭界标方向引导模式描述的那些交互技术(但优选
    为不同的技术,以便不混淆两个活动)。

    在步骤1302处,内窥镜末端112在固定的参考系中的当前位置被
    确定。注意,如果界标方向引导模式被打开,这个活动与方法1200
    的步骤1202相同,并且因此它不必被执行,因为来自步骤1202的结
    果可以被用在这种情况下(即,它不必在相同的过程循环中被执行第
    二次或者两次)。

    在步骤1303处,内窥镜末端112的当前位置被存储在存储设备
    155中,并被参考为请求建立的界标的位置。在步骤1304处,在内窥
    镜末端112处捕获的当前图像被识别为界标的图像,并且在步骤1305
    中,图像的信息也被存储在存储设备155中,并被参考为请求建立的
    界标的图像。

    在执行方法1300的过程中可以意识到,活动1302和1304发生的
    顺序是不重要的。实际上,图像处理器140可以以不同于位置处理器
    130确定内窥镜末端112的当前位置的速率处理捕获的图像。因此,
    两个活动可以在时间以及他们发生的次序上不同。在任何事件中,当
    在步骤1301中接收界标建立请求时,内窥镜末端112的下一个确定的
    位置被存储在存储设备155中,并且从图像处理器130接收的下一个
    捕获图像被存储在存储设备155中,而不关心哪个首先发生。

    当朝病人体内的目标位置导航内窥镜110时,除了建立界标之外,
    当内窥镜末端从解剖结构的一端移动到另一端时,解剖结构(例如,
    食道、胃、结肠等)可以使用内窥镜末端112的位置信息来测量。测
    量的解剖结构的信息可以被用来将3-D模型或者解剖结构的术前测量
    数据对齐和定制到它们病人体内的合适位置,并将结构以及3-D病人
    计算机模型显示在辅助显示屏160上。作为示例,图14示出了嘴和胃
    入口界标的测量位置如何与内窥镜的中间形状一起被用来对齐和定制
    将嘴连接至胃入口的食道的3-D模型。之后,食道模型作为3-D弯曲
    管1401连同病人和内窥镜110的3-D模型能够一起被显示在辅助显示
    屏160上。

    尽管已经关于一个或更多个优选实施例描述了本发明的各方面,
    但应该理解,本发明有权在所附权利要求的整个范围内被完全?;?。

    关 键 词:
    用于 操纵 内窥镜 设备 末端 朝向 一个 更多 界标 转向 提供 视觉 引导 导航 辅助 操作者 系统
      专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
    关于本文
    本文标题:用于为操纵内窥镜设备的末端朝向一个或更多个界标转向提供视觉引导和在内窥镜导航中辅助操作者的系统.pdf
    链接地址://www.4mum.com.cn/p-5886122.html
    关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服客服 - 联系我们

    [email protected] 2017-2018 www.4mum.com.cn网站版权所有
    经营许可证编号:粤ICP备17046363号-1 
     


    收起
    展开
  • 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03