• 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
    • / 19
    • 下载费用:30 金币  

    重庆时时彩源码: 一种多点触摸跟踪识别方法及其系统.pdf

    关 键 词:
    一种 多点 触摸 跟踪 识别 方法 及其 系统
      专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
    摘要
    申请专利号:

    CN201110129448.X

    申请日:

    2011.05.18

    公开号:

    CN102193688A

    公开日:

    2011.09.21

    当前法律状态:

    授权

    有效性:

    有权

    法律详情: 授权|||实质审查的生效IPC(主分类):G06F 3/042申请日:20110518|||公开
    IPC分类号: G06F3/042 主分类号: G06F3/042
    申请人: 广东威创视讯科技股份有限公司
    发明人: 骆威; 曾昭兴; 肖平; 孙敬飞
    地址: 510663 广东省广州市广州高新技术产业开发区彩频路6号
    优先权:
    专利代理机构: 广州华进联合专利商标代理有限公司 44224 代理人: 王茹;曾旻辉
    PDF完整版下载: PDF下载
    法律状态
    申请(专利)号:

    CN201110129448.X

    授权公告号:

    102193688B||||||

    法律状态公告日:

    2013.07.10|||2011.11.23|||2011.09.21

    法律状态类型:

    授权|||实质审查的生效|||公开

    摘要

    本发明提供一种多点触摸跟踪识别方法及其系统,所述方法包括:分别获取相邻两帧图像中的触摸点位置;根据所述触摸点位置,计算前后两帧图像的各个所述触摸点之间的距离;根据所述距离对各个所述触摸点之间的实关联进行筛选,按照所述触摸点距离从小到大的顺序,逐次搜索前后两帧图像的触摸点的关联方式;分别计算每次搜索到的关联方式的触摸点离散度,直到后一关联方式的触摸点离散度首次大于前一关联方式的触摸点离散度时,判断所述前一关联方式为最优关联方式。本发明提供的多点触摸跟踪识别方法及其系统从全局出发分析,保证了前后帧中触摸点关联的准确性和鲁棒性。通过对各个所述触摸点之间的实关联进行筛选,提高了跟踪识别效率。

    权利要求书

    1.一种多点触摸跟踪识别方法,其特征在于,包括以下步骤:获取相邻两帧图像中的触摸点位置;以两帧图像中的各个触摸点为基础构造两层的搜索树,将所述搜索树第一层的各个触摸点与第二层的各个触摸点之间设为实关联,并计算所述搜索树中各个实关联的距离;将所述搜索树第一层与第二层的之间的各个实关联的距离与预设的距离阈值比较,根据比较结果对各个所述实关联进行筛??;按照所述实关联距离从小到大的顺序,在筛选结果中逐次搜索由各个所述实关联组成的触摸点的关联方式;分别计算每次搜索到的关联方式的触摸点离散度,直到后一关联方式的触摸点离散度首次大于前一关联方式的触摸点离散度时,判断所述前一关联方式为最优关联方式。2.如权利要求1所述的多点触摸跟踪识别方法,其特征在于,所述距离阈值包括最大距离阈值;则,根据比较结果对各个所述实关联进行筛选的步骤包括:如果判断所述实关联的距离值小于所述最大距离阈值,则进一步判断对应的两个触摸点之间的实关联合法;如果判断所述实关联的距离值大于所述最大距离阈值,则进一步判断对应的两个触摸点之间的实关联不合法。3.如权利要求2所述的多点触摸跟踪识别方法,其特征在于,所述距离阈值还包括最小距离阈值;则,根据比较结果对各个所述实关联进行筛选的步骤还包括:如果判断所述实关联的距离值小于所述最小距离阈值,则进一步将对应的所述实关联划分为最优实关联。4.如权利要求3所述的多点触摸跟踪识别方法,其特征在于,所述搜索前后两帧图像的触摸点的关联方式的步骤包括:如果没有搜索到所述最优实关联,则将各个合法的实关联互相匹配,搜索出前后两帧的触摸点的各种关联方式;如果搜索到所述最优实关联,则将所述最优实关联与其余合法的实关联互相匹配,搜索出前后两帧的触摸点的各种关联方式。5.如权利要求1至4中任意一项所述的多点触摸跟踪识别方法,其特征在于,所述逐次搜索前后两帧图像的触摸点的关联方式的步骤包括:按照各个所述实关联的距离从小到大的顺序依次设定各个关联方式的第一个实关联;按照各个所述实关联的距离由小到大的顺序,依次搜索每一所述关联方式的下一个实关联;判断搜索到的所述实关联的触摸点是否已经与其他触摸点关联,如果是,则放弃搜索到的实关联;否则,保存对应的实关联;从搜索每一所述关联方式的第一个实关联开始,判断搜索到的实关联个数是否等于前后两帧的触摸点个数中最小的一个,是则停止搜索,保存对应的关联方式;否则,继续搜索所述关联方式的下一实关联。6.一种多点触摸跟踪识别系统,其特征在于,包括:用于获取相邻两帧图像中的触摸点位置的触摸点检测???;用于以两帧图像中的各个触摸点为基础构造两层搜索树的搜索树???,其中,所述搜索树第一层的各个触摸点与第二层的各个触摸点之间设为实关联;用于根据所述触摸点位置,计算所述搜索树中各个实关联距离的距离计算???;用于将所述搜索树第一层与第二层的之间的各个实关联的距离与预设的距离阈值比较,根据比较结果对所述搜索树中的各个所述实关联进行筛选的筛选???;用于按照所述实关联距离从小到大的顺序,在所述筛选??樯秆〈淼纳秆〗峁兄鸫嗡阉饔筛鞲鏊鍪倒亓槌傻拇ッ愕墓亓绞降乃阉髂??;用于计算每次搜索到的关联方式的触摸点离散度,直到后一关联方式的触摸点离散度首次大于前一关联方式的触摸点离散度时,判断所述前一关联方式为最优关联方式的离散度计算???。7.如权利要求6所述的多点触摸跟踪识别系统,其特征在于,所述距离阈值包括最大距离阈值;则,所述筛选??楦荼冉辖峁愿鞲鏊鍪倒亓猩秆∈?,如果判断所述实关联的距离值小于所述最大距离阈值,则进一步判断对应的两个触摸点之间的实关联合法;如果判断所述实关联的距离值大于所述最大距离阈值,则进一步判断对应的两个触摸点之间的实关联不合法。8.如权利要求7所述的多点触摸跟踪识别系统,其特征在于,所述距离阈值还包括最小距离阈值;则,所述筛选??楦荼冉辖峁愿鞲鏊鍪倒亓猩秆∈?,如果判断所述实关联的距离值小于所述最小距离阈值,则进一步将对应的所述实关联划分为最优实关联。9.如权利要求8所述的多点触摸跟踪识别系统,其特征在于:如果所述筛选??槊挥猩秆〕鏊鲎钣攀倒亓?,则所述搜索??榻鞲龊戏ǖ氖倒亓ハ嗥ヅ?,搜索出前后两帧图像的触摸点的各种关联方式;如果所述筛选??樯秆〕鏊鲎钣攀倒亓?,则所述搜索??榻鲎钣攀倒亓肫溆嗪戏ǖ氖倒亓ハ嗥ヅ?,搜索出前后两帧图像的触摸点的各种关联方式。10.如权利要求6至9中任意一项所述的多点触摸跟踪识别系统,其特征在于,所述搜索??樵谒阉髑昂罅街⊥枷竦拇ッ愕墓亓绞绞?,首先按照各个所述实关联的距离从小到大的顺序依次设定各个关联方式的第一个实关联;然后再按照各个所述实关联的距离由小到大的顺序,依次搜索每一所述关联方式的下一个实关联;并判断搜索到的所述实关联的触摸点是否已经与其他触摸点关联,如果是,则放弃搜索到的实关联;否则,保存对应的实关联;所述搜索??榇铀阉髅恳凰龉亓绞降牡谝桓鍪倒亓?,判断搜索到的实关联个数是否等于前后两帧的触摸点个数中最小的一个,是则停止搜索,保存对应的关联方式;否则,继续搜索所述关联方式的下一实关联。

    说明书

    一种多点触摸跟踪识别方法及其系统

    技术领域

    本发明涉及触摸控制技术领域,尤其涉及一种多点触摸跟踪识别方法及其系统。

    背景技术

    随着触摸控制产品的广泛应用,触摸控制技术已成为当今人机交互中的热点技术。许多产品的控制都逐步被触摸控制技术所代替,同时触摸控制技术也在不断挑战新的应用环境和领域。

    在基于光学图像的触摸控制应用环境中,通常用户希望机器能支持更多触摸点操作以满足不同应用需求,同时也希望机器能更加智能地理解用户意图,进而为用户提供更加自然、智能的服务。在目前的触摸控制系统中,机器通过分析用户在触摸屏上移动的轨迹来判断用户欲执行的操作,所以机器正确地扑捉、跟踪到触控的轨迹就非常重要。

    通常,只有单点在触摸屏上移动时,机器通过关联光学图像前后帧之间的亮点就能得到正确触摸点移动的轨迹,但随着触摸点数增加,该方法就不能识别前后帧的多个触摸点之间的关系,无法分别得到各触摸点的正确轨迹,所以需要开发更加鲁棒、准确的多点跟踪识别方法,为机器智能决策提供正确的轨迹。

    在目前的多点跟踪识别方法中,主要采用两种方法:一是针对光学图像前一帧中所有触摸点,在后一帧中搜索欧式距离最为接近的触摸点进行关联。该方法简单、实时性非常好,且目前该算法有多种改进版本,但是该方法仍无法避免欧式距离最近即为最优关联这一错误认识的本质缺陷;另一方法是采用K近邻算法,该方法为前一帧中每个触摸点在后一帧中搜索K个欧式距离最小的触摸点,并依距离值进行排序,然后对前一帧中每一个触摸点关联距离最小的触摸点,若后一帧中某触摸点处于前一帧中多个触摸点的K近邻中,则采用“最小距离通吃”的思想优先匹配,该算法实时性很好,跟踪精度较前者好,但仍是一种局部最优方法,没有从整体上考虑最优关联,即仍没有从全局角度给出评判当前关联方式是否为最优。

    发明内容

    针对以上现有技术多点触摸跟踪的缺点,本发明要解决的技术问题在于提供一种从全局角度分析的多点触摸跟踪识别方法。给出了全局评判方式,可判断当前关联是否为最优关联。

    一种多点触摸跟踪识别方法,包括:

    获取相邻两帧图像中的触摸点位置;

    以两帧图像中的各个触摸点为基础构造两层的搜索树,将所述搜索树第一层的各个触摸点与第二层的各个触摸点之间设为实关联,并计算所述搜索树中各个实关联的距离;

    将所述搜索树第一层与第二层的之间的各个实关联的距离与预设的距离阈值比较,根据比较结果对各个所述实关联进行筛??;

    按照所述实关联距离从小到大的顺序,在筛选结果中逐次搜索由各个所述实关联组成的触摸点的关联方式;

    分别计算每次搜索到的关联方式的触摸点离散度,直到后一关联方式的触摸点离散度首次大于前一关联方式的触摸点离散度时,判断所述前一关联方式为最优关联方式。

    本发明要解决的技术问题还在于提供一种从全局角度分析的多点触摸跟踪识别系统。

    一种多点触摸跟踪识别系统,包括:

    用于获取相邻两帧图像中的触摸点位置的触摸点检测???;

    用于以两帧图像中的各个触摸点为基础构造两层搜索树的搜索树???,其中,所述搜索树第一层的各个触摸点与第二层的各个触摸点之间设为实关联;

    用于根据所述触摸点位置,计算所述搜索树中各个实关联距离的距离计算???;

    用于将所述搜索树第一层与第二层的之间的各个实关联的距离与预设的距离阈值比较,根据比较结果对所述搜索树中的各个所述实关联进行筛选的筛选???;

    用于按照所述实关联距离从小到大的顺序,在所述筛选??樯秆〈淼纳秆〗峁兄鸫嗡阉饔筛鞲鏊鍪倒亓槌傻拇ッ愕墓亓绞降乃阉髂??;

    用于分别计算每次搜索到的关联方式的触摸点离散度,直到后一关联方式的触摸点离散度首次大于前一关联方式的触摸点离散度时,判断所述前一关联方式为最优关联方式的离散度计算???。

    与现有技术相比较,本发明的多点触摸跟踪识别方法及其系统,通过计算每个所述关联方式中所有互相关联的触摸点的最小触摸点距离,以及每个所述关联方式下的触摸点离散度,保证了前后帧中触摸点关联的准确性和鲁棒性。本发明采用触摸点距离最小的思想保证相邻两帧中触摸点关联的鲁棒性,采用关联离散度的测度准则保证相邻两帧间触摸点关联的准确性,该准则进一步从数学上验证了触摸点距离最小这一关联思想的正确性。通过建立搜索树,并对搜索树进行筛选剪枝,可以简化运算、大大提高跟踪定位效率。本发明的多点触摸跟踪识别方法及其系统能实时、准确和稳定地运行在目前的各种触摸交互设备中。

    附图说明

    图1是本发明多点触摸跟踪识别方法的流程图;

    图2是连续两帧图像的触摸点的示意图;

    图3是连续两帧图像的触摸点表示在同一平面内的示意图;

    图4、图5是本发明中建立的搜索树的结构示意图;

    图6是经过筛选后的搜索树的结构示意图;

    图7是现有技术一种触摸屏的结构示意图;

    图8是实施例中连续两帧中的触摸点示意图;

    图9是实施例中连续两帧图像的触摸点表示在同一平面内的示意图;

    图10是实施例中建立的搜索树的结构示意图;

    图11是实施例中经过筛选后的搜索树的结构示意图;

    图12是实施例中第一次搜索结果的关联方式的示意图;

    图13是实施例中第二次搜索结果的关联方式的示意图;

    图14是实施例中的最优关联方式的示意图;

    图15是本发明多点触摸跟踪识别系统的结构示意图。

    具体实施方式

    请参阅图1,图1是本发明多点触摸跟踪识别方法的流程图。

    所述多点触摸跟踪识别方法包括以下步骤:

    步骤S101,分别获取相邻两帧图像中的触摸点位置;

    首先可检测连续相邻的两帧中触摸点个数,例如利用图像检测技术检测,以及其位置,每一触摸点称为一节点,设连续两帧表示为Ft与Ft+1,设Ft中有N1个节点,Ft+1帧中有N2个节点,且N1>N2,如图2所示。图3则是连续两帧的触摸点表示在同一平面内的示意图。

    步骤S102,分别以两帧图像中的各个触摸点为基础构造两层的搜索树,将所述搜索树第一层的各个触摸点与第二层的各个触摸点之间设为实关联。为方便分析搜索和跟踪识别。

    所述关联即为两帧图像之间的触摸点跟踪识别的对应关系,例如,在图1中,第一帧中的触摸点1可能在第二帧中移动到触摸点5、6或者7的位置,而触摸点2,3和4也有可能移动到触摸点5、6或者7的位置。因此,分别将所述第一帧中的触摸点与第二帧中的各个触摸点进行实关联,标记其可能存在的对应关系。

    作为一种优选实施方式,因为两帧图像中的触摸点数不一定相同,因此,为了让所有的关联采用相同的数据结构,方便计算,在构造所述搜索树时,可进一步在所述搜索树的第二层中设置与第一层的触摸点一一对应的虚节点,并设所述虚节点与第一层的触摸点的距离为0,将各个所述虚节点与所述第一层的各个触摸点之间设为虚关联;此时,如果判断所述搜索树的两层之间只有虚关联,则代表所述搜索树的其中一层没有触摸点,因此可以提前结束多点触摸跟踪识别的操作。通过设置虚节点可以让所有的关联采用相同的数据结构,更便于计算和筛选。如图4、图5所示。

    假设第一层中的某节点(即触摸点)a在其作用范围中存在可实关联的第二层节点b,但节点b优先被第一层中其它节点c关联,在此情况下,节点a不能与节点b进行关联,若此时节点a的作用范围中不存在其它可实关联的第二层节点,则节点a应不与任何第二层节点实关联。所以,在这里通过虚节点设置一虚关联,且虚关联的关联距离设为0。

    再进一步地,因为需要在搜索树的第二层中设置所述虚节点,为减少运算的数据量,在构造所述搜索树时,首先选取相邻两帧图像中触摸点数较多的为第一层,如图4所示;然后,以另一帧(即触摸点数较少的一帧)为第二层进一步构造所述搜索树,如图5所示。这样在增加虚节点时,只在触摸点数较少的一层中增加,所述搜索树两层之间的总的关联数量较少,因此可以减少运算的数据量。

    步骤S103,根据所述触摸点位置,计算所述搜索树中各个实关联的距离;

    在本步骤中,分别计算第一帧图像的各个触摸点和第二帧图像的各个触摸点之间的距离,即所述搜索树中各个实关联的距离。如图3所示,分别计算触摸点1、2、3、4到触摸点5、6和7的距离。

    步骤S104,分别将所述搜索树第一层与第二层的之间的各个实关联的距离与预设的距离阈值比较,根据比较结果对各个所述实关联进行筛选。进一步减少运算的数据量。

    具体地,所述距离阈值可以包括最大距离阈值;则,根据比较结果对各个所述实关联进行筛选的步骤包括:

    如果判断所述实关联的距离值小于所述最大距离阈值,则进一步判断对应的两个触摸点之间的实关联合法;

    如果判断所述实关联的距离值大于所述最大距离阈值,则进一步判断对应的两个触摸点之间的实关联不合法。

    经过筛选后的搜索树的结构如图6所示。

    一旦某个关联方式中包括有上述被判断为不合法的实关联,则所述关联方式也被排除,不再考虑,这样就能够进一步减少分析的关联方式的数量,无需分析所有的关联方式,加快了跟踪定位的速度。

    进一步地,所述距离阈值还可以包括最小距离阈值;

    则,根据比较结果对各个所述实关联进行筛选的步骤还包括:

    如果判断所述实关联的距离值小于所述最小距离阈值,则进一步将对应的所述实关联划分为最优实关联。

    可以认为,当分属两层的两个触摸点之间的距离很小(小于所述最小距离阈值)时,可以直接将两个触摸点判断为同一个触摸物在前后两帧图像中的触摸点,因此判断其对应的实关联为最优实关联,所述最优实关联即为肯定会出现在最优关联方式中的实关联。

    步骤S105,按照所述实关联距离从小到大的顺序,逐次搜索由各个所述实关联组成的前后两帧的触摸点的关联方式;

    前后两帧图像的各个所述触摸点之间的距离即是上述步骤中建立的所述搜索树的两层之间的实关联的距离。

    各种所述关联方式由各个所述实关联按照各种可能的方式互相匹配组合而成。因为,两帧图像中的触摸点数不一定相同,例如第一帧中有四个触摸点,而在第二帧中可能只有三个触摸点,因此,搜索前后两帧图像的触摸点的关联方式时,应该按照前后两帧图像的触摸点数进行适当搜索。

    为此,在本实施方式中,首先可按照各个所述实关联的距离从小到大的顺序,设定各个关联方式的第一个实关联;然后按照以下搜索条件,搜索各个所述关联方式包含的其他实关联:1.在每一关联方式下搜索的后一实关联的距离大于前一实关联的距离;2.在每一关联方式中,一个触摸点只对应一个实关联;3.每一所述关联方式所包含的实关联个数都不超过前后两帧的触摸点个数中最小的一个。根据每一关联方式的第一个实关联,以及上述搜索条件,搜索各个所述关联方式包含的其他实关联,将所述第一个实关联和其他实关联组合成所述触摸点的一种关联方式。分别将各个所述实关联以不同的方式组合,以这种方式可以搜索出所有匹配的关联方式。

    搜索每一关联方式的具体方法为:首先按照各个所述实关联的距离从小到大的顺序依次设定各个关联方式的第一个实关联;

    然后再按照各个所述实关联的距离由小到大的顺序,依次搜索每一所述关联方式的下一个实关联;

    并判断搜索到的所述实关联的触摸点是否已经与其他触摸点关联,如果是,则放弃搜索到的实关联;否则,保存对应的实关联;

    从搜索每一所述关联方式的第一个实关联开始,判断搜索到的实关联个数是否等于前后两帧的触摸点个数中最小的一个,是则停止搜索,保存对应的关联方式;否则,继续搜索所述关联方式的下一实关联。

    在本发明中,每搜索出一个关联方式,就执行一次步骤S106,计算所述关联方式对应的触摸点离散度,根据所述触摸点离散度判断是否得到最优关联方式。如果判断获得最优关联方式,则无需继续计算所有匹配的关联方式。

    由于两帧图像中的触摸点数不一定相同,在每种匹配的关联方式中,当确定每一所述关联方式中的所有实关联之后,将所述关联方式中的不涉及实关联的其余触摸点都与虚节点设为虚关联。对应虚关联的触摸点为后一帧图像新增或者减少的触摸点。

    作为一种优选实施方式,在步骤S104中设定所述最小距离阈值对各个实关联进行筛选,判断是否存在所述最优实关联。则在本步骤中,可采用以下方式将筛选结果中包含的实关联组合成所有匹配的关联方式:

    如果没有搜索到所述最优实关联,则将各个合法的实关联互相匹配,搜索出前后两帧图像的触摸点的各种关联方式;

    如果搜索到所述最优实关联,则将所述最优实关联与其余合法的实关联互相匹配,搜索出前后两帧图像的触摸点的各种关联方式。

    上述步骤可以进一步对两帧图像中的触摸点的关联方式组合进行筛选。通过筛选可以减少分析的匹配的关联方式的数量,缩小跟踪搜索范围,加快处理速度。

    步骤S106,分别计算每次搜索到的关联方式的触摸点离散度,直到后一关联方式的触摸点离散度首次大于前一关联方式的触摸点离散度,则判断所述前一关联方式为最优关联方式。

    所述最优关联方式即为本发明多点触摸跟踪识别系统的跟踪识别结果,亦即为两帧图像之间的触摸点跟踪识别确认的最终的对应关系,可根据所述最优关联方式得到触摸点的移动方式,增加或者减少触摸点,从而判断用户的触摸操作,例如触摸点滑动,在新的触摸位置进行触摸操作等,从而可以执行各种相关的触摸控制操作。

    所述触摸点离散度用于表征每种关联方式下,各个触摸点之间的位置是否集中,或者是平均距离的大小。

    在本实施方式中,将每个所述关联方式的触摸点离散度按照以下公式定义为:

    ρ=1NΣi=1N(di-dave_k)2]]>

    其中,dave_k=1NΣi=1Ndi]]>

    dave_k为di平均值,N为所述关联方式中实关联的个数,di为所述关联方式的中前后两帧的互相关联的触摸点的距离。

    由于每次搜索均按照所述触摸点距离从小到大的顺序设定对应关联方式的第一个实关联,亦即,后一次搜索的关联方式的第一个实关联的距离大于前一次搜索的关联方式的第一个实关联的距离;而在单独一个关联方式中,在确定所述第一个实关联之后,之后搜索的每个实关联都大于前一个实关联。

    因此,如果本次关联方式的触摸点离散度小于前一关联方式的触摸点离散度,则表明还未找到最优关联方式,需继续搜索,亦即继续根据触摸点的距离从小到大的顺序,继续搜索并计算下一关联方式的触摸点离散度,并与其前一关联方式的触摸点离散度比较;如果后一关联方式的触摸点离散度首次大于前一关联方式的触摸点离散度,则判断所述前一关联方式为最优关联方式,搜索结束。

    下面结合具体的实施例对本发明的多点触摸跟踪识别方法加以详细说明,应指出的是,所描述的实施例旨在便于对本发明的理解,对本发明不起限定作用。

    图7为一触摸屏,图8给出了连续两帧中的触摸点示意图,图9是实施例中连续两帧图像的触摸点表示在同一平面内的示意图。假设在t帧中有2个触摸点,在t+1帧中有4个触摸点,则根据算法构建搜索树如图10所示,t+1帧为第一层,t帧为第二层。图10中实线表示两节点进行实关联;虚线连接表示第一层的该节点(亦即触摸点)与虚节点关联,并设置该虚关联距离为0。

    首先,计算前后两帧图像的各个所述触摸点之间的距离,对搜索树进行剪枝,以减小搜索空间,提高搜索速率,剪枝后的搜索树如图11。其中最大距离阈值设为dmax=110,最小距离阈值设为dmin=30(本实施例中的距离只以数值表示,具体的单位根据用户设定而定)。

    进行最优关联方式的搜索,搜索前先判断是否只存在虚关联,以判断是否需要继续搜索。很明显,在本实施例中前后两层之间存在实关联。则首先搜索到最小实关联距离,本实施例中为节点5与节点2的距离最小d52=76,在搜索程序运行时可初始化一计数器C=0,若第一层中有节点关联到实节点,则该计数器加1。因为本实施例中第一层有4个节点,因此需要循环对第一层搜索,直至该层所有节点都关联为止,又因本实施例中t帧中只有2个节点,所以根据搜索条件3,在所有关联方式中,至多只能有两个实关联距离,也就是说,第一层中至少有两个节点与虚节点进行关联。

    继续进行搜索,可搜索到节点4与节点1的关联距离d41=82为第一次搜索的关联方式的次小实关联距离,此时计数器C=2,与t帧中节点个数相等,表明在接下来的搜索中,第一层中还未关联的节点,都必须与虚节点进行关联。本次搜索结果的关联方式示意图示于图12。

    根据步骤S106计算触摸点离散度:

    dave_0=12Σi=12dij=79]]>

    ρ0=12Σi=12(dij-dave)2=12Σi=12(dij-79)2=9]]>

    然后,开始搜索第二个关联方式,在第二个关联方式中第一个实关联需满足实关联距离大于上一关联方式中第一个实关联距离的条件。因此,经搜索可得在本轮搜索中最小距离为d41=82,继续对第一层中其它节点进行搜索,搜索可得d51=102,但此时节点4与节点1已优先关联,所以,节点5只能进行虚关联;继续搜索可得d62=106,此时C=2停止搜索。图13是实施例中第二次搜索结果的关联方式的示意图。同样经计算可得:

    dave_1=12Σi=12dij=94]]>

    ρ1=12Σi=12(dij-dave)2=12Σi=12(dij-94)2=144]]>

    比较ρ0,ρ1,可知ρ0<ρ1,即后一关联方式的触摸点离散度首次大于前一关联方式的触摸点离散度,表明在此实施例中第一次就搜索到了最优关联方式,即第一层节点4和5,分别与第二层节点1与2关联,亦即触摸点4移动到触摸点1的位置,触摸点5移动到触摸点2的位置,触摸点3与6为新增加的触摸点。图14给出了前后两帧中触摸点正确关联的最优关联方式的示意图。

    与现有技术相比较,本发明的多点触摸跟踪识别方法,通过计算每个所述关联方式中所有互相关联的触摸点的最小触摸点距离,以及每个所述关联方式下的触摸点离散度,保证了前后帧中触摸点关联的准确性和鲁棒性。本发明采用触摸点距离最小的思想保证相邻两帧中触摸点关联的鲁棒性,采用关联离散度的测度准则保证相邻两帧间触摸点关联的准确性,该准则进一步从数学上验证了触摸点距离最小这一关联思想的正确性。通过建立搜索树,并对搜索树进行筛选剪枝,可以简化运算、大大提高跟踪定位效率。本发明的多点触摸跟踪识别方法能实时、准确和稳定地运行在目前的各种触摸交互设备中。

    本发明从触摸点离散度的角度给出了最优关联方式,从直观角度的观察事实也与该结果相符合?;挂蛩惴ㄖ屑尤肓俗畲缶嗬脬兄涤胱钚【嗬脬兄?,从而通过剪枝操作保证了搜索树的空间不会太大,能满足实时性要求;关联距离最小与关联离散度最小从全局最优角度保证了各触摸点关联的准确度,保证了系统的鲁棒性。

    请参阅图15,图15是本发明多点触摸跟踪识别系统的结构示意图。

    所述多点触摸跟踪识别系统包括:

    用于获取相邻两帧图像中的触摸点位置的触摸点检测???1;

    用于以两帧图像中的各个触摸点为基础构造两层搜索树的搜索树???2,其中,所述搜索树第一层的各个触摸点与第二层的各个触摸点之间设为实关联;

    用于根据所述触摸点位置,计算所述搜索树中各个实关联距离的距离计算???3;

    用于将所述搜索树第一层与第二层的之间的各个实关联的距离与预设的距离阈值比较,根据比较结果对所述搜索树中的各个所述实关联进行筛选的筛选???4

    用于按照所述实关联距离从小到大的顺序,在所述筛选??樯秆〈淼纳秆〗峁兄鸫嗡阉饔筛鞲鏊鍪倒亓槌傻拇ッ愕墓亓绞降乃阉髂??5;

    用于计算每次搜索到的关联方式的触摸点离散度,直到后一关联方式的触摸点离散度首次大于前一关联方式的触摸点离散度时,判断所述前一关联方式为最优关联方式的离散度计算???6。

    所述触摸点检测???1分别获取相邻两帧图像中的触摸点位置时,可利用图像检测技术检测连续相邻的两帧中触摸点个数,以及各个触摸点的位置。

    为方便分析搜索和跟踪识别,所述搜索树???2用于根据所述触摸点检测???1的检测结果,分别以两帧图像中的各个触摸点为基础构造两层搜索树,将所述搜索树第一层的各个触摸点与第二层的各个触摸点之间设为实关联。方便计算分析和跟踪识别。

    所述实关联即为两帧图像之间的触摸点可能具有的对应关系,所述搜索树???2分别将所述第一帧中的触摸点与第二帧中的各个触摸点进行实关联,标记其可能存在的对应关系。

    作为一种优选实施方式,因为两帧图像中的触摸点数不一定相同,因此,为了让所有的关联采用相同的数据结构,方便计算,所述搜索树???2在构造所述搜索树时,可进一步在所述搜索树的第二层中设置与第一层的触摸点一一对应的虚节点,并设所述虚节点与第一层的触摸点的距离为0,将各个所述虚节点与所述第一层的各个触摸点之间设为虚关联;此时,如果所述搜索树???2判断所述搜索树的两层之间只有虚关联,则代表所述搜索树的其中一层没有触摸点,因此可以提前结束多点触摸跟踪识别的操作。通过设置虚节点可以让所有的关联采用相同的数据结构,更便于计算和筛选。

    假设第一层中的某节点(即触摸点)a在其作用范围中存在可实关联的第二层节点b,但节点b优先被第一层中其它节点c关联,在此情况下,节点a不能与节点b进行关联,若此时节点a的作用范围中不存在其它可实关联的第二层节点,则节点a应不与任何第二层节点实关联。所以,在这里通过虚节点设置一虚关联,且虚关联的关联距离设为0。

    再进一步地,因为需要在搜索树的第二层中设置所述虚节点,为减少运算的数据量,所述搜索树???2在构造所述搜索树时,首先选取相邻两帧图像中触摸点数较多的为第一层,然后以另一帧(即触摸点数较少的一帧)为所述搜索树的第二层。如此,所述搜索树???2在增加虚节点时,只在触摸点数较少的一层中增加,所述搜索树两层之间的总的关联数量较少,可以减少运算的数据量。

    所述距离计算???3分别计算第一帧图像的各个触摸点和第二帧图像的各个触摸点之间的距离,即所述搜索树中各个实关联的距离。

    所述筛选???4用于分别将所述搜索树第一层与第二层的之间的各个实关联的距离与预设的距离阈值比较,根据比较结果对各个所述实关联进行筛选,并将筛选结果传输至所述搜索???5。所述搜索???5在所述筛选???4的筛选结果中搜索前后两帧图像的触摸点的关联方式,进一步减少运算的数据量。

    具体地,所述距离阈值可以包括最大距离阈值;则,所述筛选???4根据比较结果对各个所述实关联进行筛选时,如果判断所述实关联的距离值小于所述最大距离阈值,则进一步判断对应的两个触摸点之间的实关联合法;如果判断所述实关联的距离值大于所述最大距离阈值,则进一步判断对应的两个触摸点之间的实关联不合法。

    一旦某个关联方式中包括有上述被判断为不合法的实关联,则所述关联方式也被排除,不需要再考虑,这样就能够进一步减少分析的关联方式的数量,无需分析所有的关联方式,加快了跟踪定位的速度。

    进一步地,所述距离阈值还可以包括最小距离阈值;

    则,所述筛选???4根据比较结果对各个所述实关联进行筛选时,还需进行以下判断:

    如果判断所述第一层的触摸点与第二层的触摸点的实关联的距离值小于所述最小距离阈值,则进一步将对应的两个触摸点之间的实关联划分为最优实关联。

    可以认为,当分属两层的两个触摸点之间的距离很小(小于所述最小距离阈值)时,可以直接将两个触摸点判断为同一个触摸物在前后两帧图像中的触摸点,因此所述筛选???4判断其为最优实关联,所述最优实关联即为肯定会出现在最优关联方式中的实关联。

    所述搜索???5按照所述触摸点距离从小到大的顺序,逐次搜索由各个所述实关联组成的前后两帧的触摸点的关联方式;其中,前后两帧图像的各个所述触摸点之间的距离即是上述步骤中建立的所述搜索树的两层之间的实关联的距离。

    各种所述关联方式由各个所述实关联按照各种可能的方式互相匹配组合而成。因为,两帧图像中的触摸点数不一定相同,例如第一帧中有四个触摸点,而在第二帧中可能只有三个触摸点,因此,所述搜索???5搜索前后两帧图像的触摸点的关联方式时,应该按照前后两帧图像的触摸点数限制进行适当搜索。

    为此,在本实施方式中,所述搜索???5首先按照各个所述实关联的距离从小到大的顺序,设定各个关联方式的第一个实关联;然后再按照以下搜索条件,搜索各个所述关联方式包含的其他实关联:1.在每一关联方式下搜索的后一实关联的距离大于前一实关联的距离;2.在每一关联方式中,一个触摸点只对应一个实关联;3.每一所述关联方式所包含的实关联个数都不超过前后两帧的触摸点个数中最小的一个。所述搜索???5根据每一关联方式的第一个实关联,以及上述搜索条件,搜索各个所述关联方式包含的其他实关联,将所述第一个实关联和其他实关联组合成所述触摸点的一种关联方式。分别将各个所述实关联以不同的方式组合,所述搜索???5以这种方式可以搜索出所有匹配的关联方式。

    所述搜索???5搜索每一关联方式的具体方法为:首先按照各个所述实关联的距离从小到大的顺序依次设定各个关联方式的第一个实关联;

    然后再按照各个所述实关联的距离由小到大的顺序,依次搜索每一所述关联方式的下一个实关联;

    并判断搜索到的所述实关联的触摸点是否已经与其他触摸点关联,如果是,则放弃搜索到的实关联;否则,保存对应的实关联;

    所述搜索???5从搜索每一所述关联方式的第一个实关联开始,判断搜索到的实关联个数是否等于前后两帧的触摸点个数中最小的一个,是则停止搜索,保存对应的关联方式;否则,继续搜索所述关联方式的下一实关联。

    在本发明中,所述搜索???5每搜索出一个关联方式,就将所述关联方式的数据发送至所述离散度计算???6中计算所述关联方式对应的触摸点离散度,并根据所述触摸点离散度判断是否得到最优关联方式。如果所述离散度计算???6判断获得最优关联方式,则本次跟踪计算结束,所述搜索???5无需继续计算所有匹配的关联方式。

    由于两帧图像中的触摸点数不一定相同,在每种匹配的关联方式中,当所述搜索???5确定每一所述关联方式中的所有实关联之后,将所述关联方式中的不涉及实关联的其余触摸点都与虚节点设为虚关联。对应虚关联的触摸点为后一帧图像新增或者减少的触摸点。

    作为一种优选实施方式,所述筛选???4如果设定了所述最小距离阈值对各个实关联进行筛选,则所述搜索???5采用以下方式将筛选结果中包含的实关联组合成所有匹配的关联方式:

    如果没有搜索到所述最优实关联,则将各个合法的实关联互相匹配,搜索出前后两帧图像的触摸点的各种关联方式;

    如果搜索到所述最优实关联,则将所述最优实关联与其余合法的实关联互相匹配,搜索出前后两帧图像的触摸点的各种关联方式。

    通过上述方式可以进一步简化对各种关联方式的搜索,通过筛选可以减少分析的匹配的关联方式的数量,缩小跟踪搜索范围,加快处理速度。

    所述离散度计算???6分别计算每次搜索到的关联方式的触摸点离散度,直到后一关联方式的触摸点离散度首次大于前一关联方式的触摸点离散度,则判断所述前一关联方式为最优关联方式。

    所述最优关联方式即为本发明多点触摸跟踪识别系统的跟踪识别结果,亦即为两帧图像之间的触摸点跟踪识别确认的最终的对应关系,可根据所述最优关联方式得到触摸点的移动方式,增加或者减少触摸点,从而判断用户的触摸操作,例如触摸点滑动,在新的触摸位置进行触摸操作等,从而可以执行各种相关的触摸控制操作。

    所述触摸点离散度用于表征每种关联方式下,各个触摸点之间的位置是否集中,或者是平均距离的大小。

    在本实施方式中,将每个所述关联方式的触摸点离散度按照以下公式定义为:

    ρ=1NΣi=1N(di-dave_k)2]]>

    其中,dave_k=1NΣi=1Ndi]]>

    dave_k为di平均值,N为所述关联方式中实关联的个数,di为所述关联方式的中前后两帧的互相关联的触摸点的距离。

    由于所述搜索???5每次搜索均按照所述触摸点距离从小到大的顺序设定对应关联方式的第一个实关联,亦即,后一次搜索的关联方式的第一个实关联的距离大于前一次搜索的关联方式的第一个实关联的距离;而在单独一个关联方式中,在确定所述第一个实关联之后,之后搜索的每个实关联都大于前一个实关联。

    因此,如果所述离散度计算???6本次计算的关联方式的触摸点离散度小于前一关联方式的触摸点离散度,则表明还未找到最优关联方式,需继续搜索,亦即所述搜索???5根据各个触摸点的距离从小到大的顺序,继续搜索下一关联方式,所述离散度计算???6计算下一关联方式的触摸点离散度,并与其前一关联方式的触摸点离散度比较;如果后一关联方式的触摸点离散度首次大于前一关联方式的触摸点离散度,则所述离散度计算???6判断所述前一关联方式为最优关联方式,搜索结束。

    与现有技术相比较,本发明的多点触摸跟踪识别系统,通过计算每个所述关联方式中所有互相关联的触摸点的最小触摸点距离,以及每个所述关联方式下的触摸点离散度,保证了前后帧中触摸点关联的准确性和鲁棒性。本发明采用触摸点距离最小的思想保证相邻两帧中触摸点关联的鲁棒性,采用关联离散度的测度准则保证相邻两帧间触摸点关联的准确性,该准则进一步从数学上验证了触摸点距离最小这一关联思想的正确性。通过建立搜索树,并对搜索树进行筛选剪枝,可以简化运算、大大提高跟踪定位效率。本发明的多点触摸跟踪识别系统能实时、准确和稳定地运行在目前的各种触摸交互设备中。

    本发明从触摸点离散度的角度给出了最优关联方式,从直观角度的观察事实也与该结果相符合?;挂蛩惴ㄖ屑尤肓俗畲缶嗬脬兄涤胱钚【嗬脬兄?,从而通过剪枝操作保证了搜索树的空间不会太大,能满足实时性要求;关联距离最小与关联离散度最小从全局最优角度保证了各触摸点关联的准确度,保证了系统的鲁棒性。

    以上所述的本发明实施方式,并不构成对本发明?;し段У南薅?。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明的权利要求?;し段е?。

    关于本文
    本文标题:一种多点触摸跟踪识别方法及其系统.pdf
    链接地址://www.4mum.com.cn/p-5865411.html
    关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服 - 联系我们

    [email protected] 2017-2018 www.4mum.com.cn网站版权所有
    经营许可证编号:粤ICP备17046363号-1 
     


    收起
    展开
  • 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
  • 银河棋牌游戏官网安卓版 甘肃快3 - 一定牛 888棋牌游戏手机版官网 北京福彩3d开奖直播 云南时时彩购买技巧 中国体育彩票官方网站 江西多乐彩中奖遗漏号 通比牛牛多开 a股很难赚钱吗 黑龙江22选5胆拖玩法 江苏11选5今日直播 2014香港赛马会资料 爱彩彩票游戏 新快3新快3开奖结果直播 加拿大28和加拿大快乐8开奖网 重庆百变王牌100期走势图