• 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
    • / 18
    • 下载费用:30 金币  

    重庆时时彩十位3期计划: 一种基于PUP图的3D图像舒适度质量评价方法及系统.pdf

    关 键 词:
    一种 基于 PUP 图像 舒适 质量 评价 方法 系统
      专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
    摘要
    申请专利号:

    CN201510759516.9

    申请日:

    2015.11.09

    公开号:

    CN106683072A

    公开日:

    2017.05.17

    当前法律状态:

    实审

    有效性:

    审中

    法律详情: 实质审查的生效IPC(主分类):G06T 7/00申请日:20151109|||公开
    IPC分类号: G06T7/00(2017.01)I 主分类号: G06T7/00
    申请人: 上海交通大学
    发明人: 周军; 陈建宇; 王凯; 孙军
    地址: 200240 上海市闵行区东川路800号
    优先权:
    专利代理机构: 上海汉声知识产权代理有限公司 31236 代理人: 徐红银;郭国中
    PDF完整版下载: PDF下载
    法律状态
    申请(专利)号:

    CN201510759516.9

    授权公告号:

    |||

    法律状态公告日:

    2017.06.09|||2017.05.17

    法律状态类型:

    实质审查的生效|||公开

    摘要

    本发明公开一种基于PUP图的3D图像舒适度质量评价系统及方法,首先引出PUP的概念;接着利用各像素方向性特征和亮度分布特征将其映射到不同特征组并进行特征分类,在特征分类基础上定义PUP具体计算方法,并通过其定义反映正负视差特征的PUP;然后采用部分区域重叠的图像块抽取方法,根据Percival舒适域、Panum融合区确定图像块三种尺寸,生成不同尺寸下PUP图;最后通过正负PUP均值、PUP前5%均值、PUP后5%数值提取3D图像特征,建立3D图像舒适度模型,用于3D图像舒适度质量评价。本发明引入PUP图概念,在无需视差计算条件下快速有效地进行3D图像舒适度质量评价,效果提升显著。

    权利要求书

    1.一种基于PUP图的3D图像舒适度质量评价方法,其特征在于,所述方
    法包括如下步骤:
    第一步,确定PUP概念:通过关联图像、对应视网膜图像概念引出PUP概
    念;
    所述关联图像定义为:视觉系统中双目视为具有对应关系的图像块;
    所述对应视网膜图像定义为:映射到左右视网膜和视觉皮层相同位置的图像
    块;
    当对象位于同视点平面层时,关联图像同时也是对应视网膜图像,此时视差
    为零;当对象位于非同视点平面层时,关联图像是移位过的图像,而非对应视网
    膜图像,此时对应视网膜图像之间存在视差;
    存在视差的对应视网膜图像依然存在部分关联像素点,关联像素是指场景中
    相同对象在左右视点成像结果,关联像素具有相似的亮度及纹理特征,剩余部分
    则为未关联像素点称为非关联像素;将图像块中非关联像素的百分比称为非关联
    像素比PUP,PUP与该图像块的视差成正比关系;
    第二步,特征组分类:利用各像素在不同角度下的方向特征以及亮度分布特
    征将其映射到不同的特征组,并通过特征组直方图中像素分布计算非关联像素数
    目,从而确定PUP的计算公式;
    第三步,正负视差定义:根据PUP值正负进行图像块正负视差的判定,为
    正负PUP提取提供了准则,即通过比较右图像块左右移动后计算得到的两个PUP
    值的大小,判定该图像块视差的正负,对于负视差情况取负PUP值,正视差情
    况取正PUP值;
    第四步,PUP图生成:通过Percival舒适域、Panum融合区原理确定图像块
    的三种不同尺寸,并采用部分区域重叠的图像块抽取方法,计算所抽取的每个图
    像块的PUP值,生成三种不同尺寸条件下对应的PUP图,用于3D图像特征提
    ??;
    第五步,特征提取及评价:对三种不同尺寸条件下对应的PUP图,通过正
    负PUP均值、PUP前百分之五均值、PUP后百分之五均值提取3D图像特征,
    通过SVM方式建立3D图像舒适度模型,用于3D图像舒适度质量评价。
    2.如权利要求1所述的一种基于PUP图的3D图像舒适度质量评价方法,
    其特征在于,所述的第一步,通过以下方式实现:
    对于对应视网膜图像块a,其区域面积为Sa,其宽为Wa,其视差为da,关
    联的对应视网膜图像区域面积SLinked表示为:
    <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <msub> <mi>S</mi> <mrow> <mi>L</mi> <mi>i</mi> <mi>n</mi> <mi>k</mi> <mi>e</mi> <mi>d</mi> </mrow> </msub> <mo>=</mo> <msub> <mi>S</mi> <mi>a</mi> </msub> <mo>&times;</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>-</mo> <mfrac> <msub> <mi>d</mi> <mi>a</mi> </msub> <msub> <mi>W</mi> <mi>a</mi> </msub> </mfrac> <mo>)</mo> </mrow> <mo>,</mo> <mn>0</mn> <mo>&lt;</mo> <msub> <mi>d</mi> <mi>a</mi> </msub> <mo>&lt;</mo> <msub> <mi>W</mi> <mi>a</mi> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>S</mi> <mrow> <mi>L</mi> <mi>i</mi> <mi>n</mi> <mi>k</mi> <mi>e</mi> <mi>d</mi> </mrow> </msub> <mo>=</mo> <mn>0</mn> <mo>,</mo> <msub> <mi>d</mi> <mi>a</mi> </msub> <mo>&GreaterEqual;</mo> <msub> <mi>W</mi> <mi>a</mi> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>S</mi> <mrow> <mi>L</mi> <mi>i</mi> <mi>n</mi> <mi>k</mi> <mi>e</mi> <mi>d</mi> </mrow> </msub> <mo>=</mo> <msub> <mi>S</mi> <mi>a</mi> </msub> <mo>,</mo> <msub> <mi>d</mi> <mi>a</mi> </msub> <mo>=</mo> <mn>0</mn> </mrow> </mtd> </mtr> </mtable> </mfenced>
    相反的,若SLinked已知,那么视差da表示为:
    <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <msub> <mi>d</mi> <mi>a</mi> </msub> <mo>=</mo> <mfrac> <mrow> <msub> <mi>S</mi> <mi>a</mi> </msub> <mo>-</mo> <msub> <mi>S</mi> <mrow> <mi>L</mi> <mi>i</mi> <mi>n</mi> <mi>k</mi> <mi>e</mi> <mi>d</mi> </mrow> </msub> </mrow> <msub> <mi>S</mi> <mi>a</mi> </msub> </mfrac> <mo>&times;</mo> <msub> <mi>W</mi> <mi>a</mi> </msub> <mo>,</mo> <msub> <mi>d</mi> <mi>a</mi> </msub> <mo>&le;</mo> <msub> <mi>W</mi> <mi>a</mi> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>d</mi> <mi>a</mi> </msub> <mo>=</mo> <msub> <mi>W</mi> <mi>a</mi> </msub> <mo>,</mo> <msub> <mi>d</mi> <mi>a</mi> </msub> <mo>&gt;</mo> <msub> <mi>W</mi> <mi>a</mi> </msub> </mrow> </mtd> </mtr> </mtable> </mfenced>
    由以上公式看出,对于给定块a视差并将这一比例因子定
    义为非关联像素比PUP。
    3.如权利要求1所述的一种基于PUP图的3D图像舒适度质量评价方法,其
    特征在于,所述的第二步,通过以下方式实现:
    1)、利用不同方向的Gabor滤波器对图像进行方向滤波,并对滤波后的特征
    值进行归一化后得到方向滤波图像Gj(x,y,θ),j=l为左图,j=r为右图,θ为
    所用二维Gabor滤波器方向参数,(x,y)为图像中各像素位置;
    2)、若像素点在某方向上的方向特征大于阈值TG(θ),该点就被标记为high,
    反之则标记为low;由下式提取各像素点的方向性特征Oj(x,y,θ)(j=l,r):
    <mrow> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <msup> <mi>O</mi> <mi>j</mi> </msup> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>,</mo> <mi>&theta;</mi> <mo>)</mo> </mrow> <mo>=</mo> <mi>h</mi> <mi>i</mi> <mi>g</mi> <mi>h</mi> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <msup> <mi>G</mi> <mi>j</mi> </msup> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>,</mo> <mi>&theta;</mi> <mo>)</mo> </mrow> <mo>&GreaterEqual;</mo> <msub> <mi>T</mi> <mi>G</mi> </msub> <mrow> <mo>(</mo> <mi>&theta;</mi> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msup> <mi>O</mi> <mi>j</mi> </msup> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>,</mo> <mi>&theta;</mi> <mo>)</mo> </mrow> <mo>=</mo> <mi>l</mi> <mi>o</mi> <mi>w</mi> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <msup> <mi>G</mi> <mi>j</mi> </msup> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>,</mo> <mi>&theta;</mi> <mo>)</mo> </mrow> <mo>&lt;</mo> <msub> <mi>T</mi> <mi>G</mi> </msub> <mrow> <mo>(</mo> <mi>&theta;</mi> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>;</mo> </mrow>
    阈值TG(θ)取0.5;
    方向分类特征值计算分别在多个角度上进行判别,再结合亮度分布特征将各
    像素按亮度划分为多个等级;按方向特征与亮度分布特征进行结合,得到总的
    Nhist组特征组合,则图像块的非关联区域面积Sunlinked和非关联像素比分
    别为:
    <mrow> <msub> <mi>S</mi> <mrow> <mi>u</mi> <mi>n</mi> <mi>l</mi> <mi>i</mi> <mi>n</mi> <mi>k</mi> <mi>e</mi> <mi>d</mi> </mrow> </msub> <mo>=</mo> <mfrac> <mrow> <munderover> <mo>&Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <msub> <mi>N</mi> <mrow> <mi>h</mi> <mi>i</mi> <mi>s</mi> <mi>t</mi> </mrow> </msub> </munderover> <mo>|</mo> <msup> <mi>H</mi> <mi>l</mi> </msup> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> <mo>-</mo> <msup> <mi>H</mi> <mi>r</mi> </msup> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> <mo>|</mo> </mrow> <mn>2</mn> </mfrac> <mo>,</mo> </mrow>
    <mrow> <msup> <mi>PUP</mi> <msub> <mi>N</mi> <mrow> <mi>h</mi> <mi>i</mi> <mi>s</mi> <mi>t</mi> </mrow> </msub> </msup> <mo>=</mo> <mfrac> <mrow> <munderover> <mo>&Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <msub> <mi>N</mi> <mrow> <mi>h</mi> <mi>i</mi> <mi>s</mi> <mi>t</mi> </mrow> </msub> </munderover> <mo>|</mo> <msup> <mi>H</mi> <mi>l</mi> </msup> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> <mo>-</mo> <msup> <mi>H</mi> <mi>r</mi> </msup> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> <mo>|</mo> </mrow> <mrow> <mn>2</mn> <msub> <mi>N</mi> <mrow> <mi>t</mi> <mi>o</mi> <mi>t</mi> <mi>a</mi> <mi>l</mi> </mrow> </msub> </mrow> </mfrac> <mo>,</mo> </mrow>
    其中:Ntotal为图像块中总的像素数,Hl(i)为经方向特征及亮度特征变换后左图
    像块中特征值为i的点数,Hr(i)为右图像块中特征值为i的点数。
    4.如权利要求1所述的一种基于PUP图的3D图像舒适度质量评价方法,
    其特征在于,所述第三步,通过以下方式实现:
    对于位于图像中(x,y)处图像块,若右视图中关联图像移位到对应视网膜图像
    的左端,那么视差为负;通过比较左右移位右视图图像块位置后的非关联像素比
    PUP值来确定图像中(x,y)处图像块非关联像素比PUP(x,y)的正负,对应表示该图
    像块视差的正负:
    <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <msub> <mi>PUP</mi> <mrow> <mi>L</mi> <mo>,</mo> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> </mrow> </msub> <mo>=</mo> <mfrac> <mrow> <munderover> <mo>&Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <msub> <mi>N</mi> <mrow> <mi>h</mi> <mi>i</mi> <mi>s</mi> <mi>t</mi> </mrow> </msub> </munderover> <mo>|</mo> <msubsup> <mi>H</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mi>l</mi> </msubsup> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> <mo>-</mo> <msubsup> <mi>H</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>-</mo> <mi>t</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mi>r</mi> </msubsup> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> <mo>|</mo> </mrow> <mrow> <mn>2</mn> <msub> <mi>N</mi> <mrow> <mi>t</mi> <mi>o</mi> <mi>t</mi> <mi>a</mi> <mi>l</mi> </mrow> </msub> </mrow> </mfrac> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>PUP</mi> <mrow> <mi>R</mi> <mo>,</mo> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> </mrow> </msub> <mo>=</mo> <mfrac> <mrow> <munderover> <mo>&Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <msub> <mi>N</mi> <mrow> <mi>h</mi> <mi>i</mi> <mi>s</mi> <mi>t</mi> </mrow> </msub> </munderover> <mo>|</mo> <msubsup> <mi>H</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mi>l</mi> </msubsup> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> <mo>-</mo> <msubsup> <mi>H</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>+</mo> <mi>t</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mi>r</mi> </msubsup> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> <mo>|</mo> </mrow> <mrow> <mn>2</mn> <msub> <mi>N</mi> <mrow> <mi>t</mi> <mi>o</mi> <mi>t</mi> <mi>a</mi> <mi>l</mi> </mrow> </msub> </mrow> </mfrac> </mrow> </mtd> </mtr> </mtable> </mfenced>
    上式中,PUPL,(x,y)表示右图左移t后计算的(x,y)处图像块的PUP值,PUPR,(x,y)表
    示右图右移t后计算的(x,y)处图像块的PUP值,为左图像块的特征直方图,
    表示位于(x,y)处图像块中特征值为i的像素数,为右图像块的特征
    直方图,表示位于(x±t,y)处图像块中特征值为i的像素数;
    <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mi>P</mi> <mi>U</mi> <msub> <mi>P</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> </msub> <mo>=</mo> <mo>-</mo> <mi>P</mi> <mi>U</mi> <msub> <mi>P</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> </msub> <mo>,</mo> <mo>(</mo> <mi>P</mi> <mi>U</mi> <msub> <mi>P</mi> <mrow> <mi>L</mi> <mo>,</mo> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> </mrow> </msub> <mo>&le;</mo> <mi>P</mi> <mi>U</mi> <msub> <mi>P</mi> <mrow> <mi>R</mi> <mo>,</mo> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> </mrow> </msub> <mo>)</mo> </mtd> </mtr> <mtr> <mtd> <mi>P</mi> <mi>U</mi> <msub> <mi>P</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> </msub> <mo>=</mo> <mi>P</mi> <mi>U</mi> <msub> <mi>P</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> </msub> <mo>,</mo> <mo>(</mo> <mi>P</mi> <mi>U</mi> <msub> <mi>P</mi> <mrow> <mi>L</mi> <mo>,</mo> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> </mrow> </msub> <mo>&gt;</mo> <mi>P</mi> <mi>U</mi> <msub> <mi>P</mi> <mrow> <mi>R</mi> <mo>,</mo> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> </mrow> </msub> <mo>)</mo> </mtd> </mtr> </mtable> </mfenced>
    其中:t=PUP(x,y)×W,W为图像块宽度;
    当PUPL,(x,y)≤PUPR,(x,y)时,左图有更多像素关联到右视图中左移的图像,视
    差为负,则该点PUP取负值。
    5.如权利要求1-4任一项所述的一种基于PUP图的3D图像舒适度质量评
    价方法,其特征在于,所述的第四步,通过以下方式实现:
    非关联像素比PUP描述的最大视差由图像块宽度决定,对象能双目融合的
    区域称为Panum融合区,其中用来定义舒适观看条件下的最大视网膜视差的子
    区域称为Percival舒适域;当图像块的视差比Percival舒适域更小时,其对视觉
    体验影响微??;当视差超过Panum融合区时,视觉上的不舒适程度会急剧增加;
    三种不同尺寸的图像块宽度由舒适域及融合区确定;最大块宽度模式L对应融
    合区的视差限制,最小块宽度模式S对应舒适域的视差限制,平均块宽度模式A
    对应以上两种域视差限制的平均值,计算得到对应的PUP图PUPi(i=L,A,S);
    采用重叠的横向块移位窗口,其移位值为bs×Wb(bs<1),比块宽度Wb??;
    用HI和WI分别表示图像的高度和宽度,Hb和Wb分别表示图像块的高度和宽度,
    则PUP图表示为:
    <mfenced open = "{" close = "}"> <mtable> <mtr> <mtd> <mrow> <msub> <mi>PUP</mi> <mrow> <mo>(</mo> <mn>1</mn> <mo>,</mo> <mn>1</mn> <mo>)</mo> </mrow> </msub> </mrow> </mtd> <mtd> <mrow> <msub> <mi>PUP</mi> <mrow> <mo>(</mo> <mn>1</mn> <mo>+</mo> <mi>b</mi> <mi>s</mi> <mo>&times;</mo> <msub> <mi>W</mi> <mi>b</mi> </msub> <mo>,</mo> <mn>1</mn> <mo>)</mo> </mrow> </msub> </mrow> </mtd> <mtd> <mo>...</mo> </mtd> <mtd> <mrow> <msub> <mi>PUP</mi> <mrow> <mo>(</mo> <mn>1</mn> <mo>+</mo> <mi>b</mi> <mi>s</mi> <mo>&times;</mo> <mo>(</mo> <mi>n</mi> <mo>-</mo> <mn>1</mn> <mo>)</mo> <mo>&times;</mo> <msub> <mi>W</mi> <mi>b</mi> </msub> <mo>,</mo> <mn>1</mn> <mo>)</mo> </mrow> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>PUP</mi> <mrow> <mo>(</mo> <mn>1</mn> <mo>,</mo> <mn>1</mn> <mo>+</mo> <msub> <mi>H</mi> <mi>b</mi> </msub> <mo>)</mo> </mrow> </msub> </mrow> </mtd> <mtd> <mo>...</mo> </mtd> <mtd> <mo>...</mo> </mtd> <mtd> <mo>...</mo> </mtd> </mtr> <mtr> <mtd> <mo>...</mo> </mtd> <mtd> <mo>...</mo> </mtd> <mtd> <mrow> <msub> <mi>PUP</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> </msub> </mrow> </mtd> <mtd> <mo>...</mo> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>PUP</mi> <mrow> <mo>(</mo> <mn>1</mn> <mo>,</mo> <mn>1</mn> <mo>+</mo> <mo>(</mo> <mi>m</mi> <mo>-</mo> <mn>1</mn> <mo>)</mo> <mo>&times;</mo> <msub> <mi>H</mi> <mi>b</mi> </msub> <mo>)</mo> </mrow> </msub> </mrow> </mtd> <mtd> <mo>...</mo> </mtd> <mtd> <mo>...</mo> </mtd> <mtd> <mrow> <msub> <mi>PUP</mi> <mrow> <mo>(</mo> <mn>1</mn> <mo>+</mo> <mi>b</mi> <mi>s</mi> <mo>&times;</mo> <mo>(</mo> <mi>n</mi> <mo>-</mo> <mn>1</mn> <mo>)</mo> <mo>&times;</mo> <msub> <mi>W</mi> <mi>b</mi> </msub> <mo>,</mo> <mn>1</mn> <mo>+</mo> <mo>(</mo> <mi>m</mi> <mo>-</mo> <mn>1</mn> <mo>)</mo> <mo>&times;</mo> <msub> <mi>H</mi> <mi>b</mi> </msub> <mo>)</mo> </mrow> </msub> </mrow> </mtd> </mtr> </mtable> </mfenced>
    上式中,PUP(x,y)为图像中(x,y)处图像块的PUP值,为水平方向
    图像块数,为取整运算,为垂直方向图像块数,则PUP图中图
    像块的总数Npatch=mn。
    6.如权利要求5所述的一种基于PUP图的3D图像舒适度质量评价方法,
    其特征在于,所述的第五步,通过以下方式实现:
    对PUPi(i=L,A,S)图按各点的值的大小进行排序得到{PUPi(n)},PUPi(n)
    表示PUPi图中第n个最小值,分别表示PUPi图中正负值的数目,
    分别表示{PUPi(n)}中低于5%、高于95%PUP值的数目,为{PUPi(n)}
    中总的点数,则提取的特征分别表示为:
    <mrow> <msup> <msub> <mi>f</mi> <mn>1</mn> </msub> <mi>i</mi> </msup> <mo>=</mo> <mfrac> <mn>1</mn> <msubsup> <mi>N</mi> <mrow> <mi>P</mi> <mi>o</mi> <mi>s</mi> </mrow> <mi>i</mi> </msubsup> </mfrac> <munder> <mo>&Sigma;</mo> <mrow> <msup> <mi>PUP</mi> <mi>i</mi> </msup> <mrow> <mo>(</mo> <mi>n</mi> <mo>)</mo> </mrow> <mo>&gt;</mo> <mn>0</mn> </mrow> </munder> <msup> <mi>PUP</mi> <mi>i</mi> </msup> <mrow> <mo>(</mo> <mi>n</mi> <mo>)</mo> </mrow> </mrow>
    <mrow> <msup> <msub> <mi>f</mi> <mn>2</mn> </msub> <mi>i</mi> </msup> <mo>=</mo> <mfrac> <mn>1</mn> <msubsup> <mi>N</mi> <mrow> <mi>N</mi> <mi>e</mi> <mi>g</mi> </mrow> <mi>i</mi> </msubsup> </mfrac> <munder> <mo>&Sigma;</mo> <mrow> <msup> <mi>PUP</mi> <mi>i</mi> </msup> <mrow> <mo>(</mo> <mi>n</mi> <mo>)</mo> </mrow> <mo>&le;</mo> <mn>0</mn> </mrow> </munder> <msup> <mi>PUP</mi> <mi>i</mi> </msup> <mrow> <mo>(</mo> <mi>n</mi> <mo>)</mo> </mrow> </mrow>
    <mrow> <msup> <msub> <mi>f</mi> <mn>3</mn> </msub> <mi>i</mi> </msup> <mo>=</mo> <mfrac> <mn>1</mn> <msubsup> <mi>N</mi> <mrow> <mn>5</mn> <mi>%</mi> </mrow> <mi>i</mi> </msubsup> </mfrac> <munder> <mo>&Sigma;</mo> <mrow> <mi>n</mi> <mo>&le;</mo> <msubsup> <mi>N</mi> <mrow> <mi>t</mi> <mi>o</mi> <mi>t</mi> <mi>a</mi> <mi>l</mi> </mrow> <mi>i</mi> </msubsup> <mo>&times;</mo> <mn>0.05</mn> </mrow> </munder> <msup> <mi>PUP</mi> <mi>i</mi> </msup> <mrow> <mo>(</mo> <mi>n</mi> <mo>)</mo> </mrow> </mrow>
    <mrow> <msup> <msub> <mi>f</mi> <mn>4</mn> </msub> <mi>i</mi> </msup> <mo>=</mo> <mfrac> <mn>1</mn> <msubsup> <mi>N</mi> <mrow> <mn>95</mn> <mi>%</mi> </mrow> <mi>i</mi> </msubsup> </mfrac> <munder> <mo>&Sigma;</mo> <mrow> <mi>n</mi> <mo>&GreaterEqual;</mo> <msubsup> <mi>N</mi> <mrow> <mi>t</mi> <mi>o</mi> <mi>t</mi> <mi>a</mi> <mi>l</mi> </mrow> <mi>i</mi> </msubsup> <mo>&times;</mo> <mn>0.95</mn> </mrow> </munder> <msup> <mi>PUP</mi> <mi>i</mi> </msup> <mrow> <mo>(</mo> <mi>n</mi> <mo>)</mo> </mrow> </mrow>
    在上式中,若 <mrow> <msubsup> <mi>N</mi> <mrow> <mi>P</mi> <mi>o</mi> <mi>s</mi> </mrow> <mi>i</mi> </msubsup> <mo>=</mo> <mn>0</mn> </mrow> <mrow> <msubsup> <mi>f</mi> <mn>1</mn> <mi>i</mi> </msubsup> <mo>=</mo> <mn>0</mn> <mo>,</mo> </mrow> <mrow> <msubsup> <mi>N</mi> <mrow> <mi>N</mi> <mi>e</mi> <mi>g</mi> </mrow> <mi>i</mi> </msubsup> <mo>=</mo> <mn>0</mn> </mrow> <mrow> <msubsup> <mi>f</mi> <mn>2</mn> <mi>i</mi> </msubsup> <mo>=</mo> <mn>0</mn> <mo>;</mo> </mrow>
    最后通过SVM对提取的特征与主观评价值进行回
    归建模,建立3D图像舒适度质量评价模型。
    7.一种用于实现上述权利要求1-6任一项所述方法的基于PUP图的3D图像
    舒适度质量评价系统,其特征在于,所述系统包括:
    PUP概念??椋和ü亓枷?、对应视网膜图像概念引出PUP概念;
    所述关联图像定义为:视觉系统中双目视为具有对应关系的图像块;
    所述对应视网膜图像定义为:映射到左右视网膜和视觉皮层相同位置的图像
    块;
    当对象位于同视点平面层时,关联图像同时也是对应视网膜图像,此时视差
    为零;当对象位于非同视点平面层时,关联图像是移位过的图像,而非对应视网
    膜图像,此时对应视网膜图像之间存在视差;
    存在视差的对应视网膜图像依然存在部分关联像素点,关联像素是指场景中
    相同对象在左右视点成像结果,关联像素具有相似的亮度及纹理特征,剩余部分
    则为未关联像素点称为非关联像素;将图像块中非关联像素的百分比称为非关联
    像素比PUP,PUP与该图像块的视差成正比关系;
    特征组分类??椋涸赑UP概念??槿范≒UP定义的基础上,利用各像素在
    不同角度下的方向特征以及亮度分布特征将其映射到不同的特征组,并通过特征
    组直方图中像素分布计算非关联像素数目,从而确定PUP的计算公式;
    正负视差定义??椋涸谔卣髯榉掷嗄?楦龅腜UP计算公式基础上,根据
    PUP值正负进行图像块正负视差的判定,为正负PUP提取提供了准则,即通过
    比较右图像块左右移动后计算的PUP值大小,判定该图像块视差的正负,对于
    负视差情况取负PUP值,正视差情况取正PUP值;
    PUP图生成??椋夯谕枷窨檎篜UP值计算方法,通过Percival舒适域、
    Panum融合区原理确定图像块的三种不同尺寸,并采用部分区域重叠的图像块抽
    取方法,计算所抽取的每个图像块的PUP值,生成三种不同尺寸条件下对应的
    PUP图,用于3D图像特征提??;
    特征提取及评价??椋憾訮UP图生成??榈玫降娜植煌叽缣跫露杂?br />的PUP图,通过正负PUP均值、PUP前百分之五均值、PUP后百分之五均值提
    取3D图像特征,通过SVM方式建立3D图像舒适度模型,用于3D图像舒适度
    质量评价。

    说明书

    一种基于PUP图的3D图像舒适度质量评价方法及系统

    技术领域

    本发明涉及立体图像舒适度质量评价领域,具体的说,是涉及一种基于PUP
    (非关联像素比)图的3D图像(立体图像)舒适度质量评价方法及系统,特别
    是运用了无视差计算的快速评价方法及系统。

    背景技术

    近年来,诸如立体电影、立体电视等立体(3D)视频产业迅速发展,3D视
    频资源越来越广泛地进入人们的日常生活中。其在提升观影体验的同时也会使观
    众出现诸如头晕、恶心、胸闷等不适现象。为了改善观看立体图像的不舒适度,
    进一步提升观影体验,大量针对3D图像舒适度质量评价方法的研究应运而生。
    现有的几乎所有3D图像舒适度质量评价方法均利用了基于视差提取的3D图像
    特征进行评价,包括诸如最大视差、视差范围、视差能量和视差分布等特征,评
    价模型的准确度很大程度上依赖于视差估计方法的质量。

    视差估计方法可分为稀疏匹配和稠密匹配两种,后者计算每个像素的视差而
    前者计算像素块的视差,所以后者是高复杂度的而前者是相对低复杂度的。就目
    前而言,大多数3D图像舒适度质量评价方法都是基于稠密视差的,高质量的稠
    密视差匹配算法实现起来既费时且困难,同时也并不能保证所估计每点视差的准
    确度。

    另一方面,随着生理学的发展,人们对眼睛生理功能的认识日趋完善,特别
    是人眼观看自然图像时的舒适度调节功能。当观看自然场景时,人双眼的汇聚度
    与调节性通常以互助的形式调节。在双眼调节过程中,晶状体形状通常由纤毛肌
    控制。在观看近景对象时,瞳孔收缩以补偿减少的域深度并增加球面像差;在观
    看远景对象时,瞳孔扩张以减少衍射并增加视网膜光强。在观看平面3D图像时,
    双眼的调节性由左右图像与双眼间距离决定。但是,当获取融合图像时,同时需
    要双眼调节汇聚度以适应场景中的深度位置。这样,在观看平面3D电视时就会
    造成一种观感上的冲突。在不使用视差图的情况下模拟汇聚度、调节性之间的冲
    突,就需要描述双目视差的相关信息。

    到目前为止,研究者基于视差特征提出了很多3D图像舒适度质量评价模型,
    Jincheol Park等人在2014年3月“IEEE信号处理中相关主题期刊(Selected Topics
    in Signal Processing,IEEE Journal of)”上的“3D视觉舒适性预测:汇聚、凹形及
    生理光学调节(3D Visual Discomfort Prediction:Vergence,Foveation,and the
    Physiological Optics of Accommodation)”一文中,在分析影响人眼观看平面3D
    图像舒适性的各类因素基础上,以视差为基础,提取各类特征并建立3D图像舒
    适性评价模型,取得了目前为止相对最好的评价测试效果。但该方法对于视差数
    据的准确性有着较高的要求,而高质量视差数据依赖于高复杂度的视差估计方
    法。

    为了解决3D图像舒适度质量评价过程中因视差计算带来的复杂度高及视差
    估计精度对于评价模型质量的影响等问题,本发明在不计算视差的情况下,通过
    关联图像、对应视网膜图像提出非关联像素比(PUP,Percentage of Un-linked
    Pixels)概念,进一步通过特征组分类导出PUP计算公式,通过PUP图提取特
    征进行3D图像舒适度质量评价,这样就解决了计算视差过程中带来的诸多问题,
    降低了3D图像舒适度质量评价模型所需特征提取的复杂度,同时基于所提特征
    建立的3D图像舒适度质量评价方法也具有很好的准确性。

    发明内容

    为了解决3D图像舒适度质量评价过程中因视差计算带来的复杂度高、视差
    估计精度对于评价模型质量的影响等问题,本发明提供一种在不需计算视差的条
    件下,基于PUP图的3D图像舒适度质量评价方法及系统,使3D图像舒适度质
    量评价过程更快速,并且结果准确。

    为实现上述的目的,本发明采用的技术方案是:本发明在不计算视差的情况
    下,通过关联图像、对应视网膜图像提出非关联像素比(PUP,Percentage of
    Un‐linked Pixels)概念,进一步通过特征组分类导出PUP计算公式,通过PUP图
    提取特征进行3D图像舒适度质量评价,这样就解决了计算视差过程中带来的诸
    多问题,降低了3D图像舒适度质量评价模型所需特征提取的复杂度,同时基于
    所提特征建立的3D图像舒适度质量评价方法也具有很好的准确性。

    根据本发明的一个方面,提供一种基于PUP图的3D图像舒适度质量评价
    方法,所述方法在无需视差计算条件下快速有效地进行3D图像舒适度质量评价;
    包括如下步骤:

    第一步,确定PUP概念:通过关联图像、对应视网膜图像概念引出PUP概
    念;

    第二步,特征组分类:利用各像素在不同角度下的方向特征以及亮度分布特
    征将其映射到不同的特征组,并通过特征组直方图中像素分布计算非关联像素数
    目,从而确定PUP的计算公式;

    第三步,正负视差定义:根据PUP值正负进行图像块正负视差的判定,为
    正负PUP提取提供了准则,即通过比较右图像块左右移动后计算得到的两个PUP
    值的大小,判定该图像块视差的正负,对于负视差情况取负PUP值,正视差情
    况取正PUP值;

    第四步,PUP图生成:基于图像块正负PUP值计算方法,通过Percival舒
    适域、Panum融合区原理确定图像块的三种不同尺寸,并采用部分区域重叠的图
    像块抽取方法,计算所抽取的每个图像块的PUP值,生成三种不同尺寸条件下
    对应的PUP图,用于3D图像特征提??;

    第五步,特征提取及评价:对三种不同尺寸条件下对应的PUP图,通过正
    负PUP均值、PUP前百分之五均值、PUP后百分之五均值提取3D图像特征,
    通过SVM方式建立3D图像舒适度模型,用于3D图像舒适度质量评价。

    优选地,所述的第一步,通过以下方式实现:

    1)、定义关联图像为视觉系统中双目视为具有对应关系的图像块;对应视网
    膜图像定义为映射到左右视网膜和视觉皮层相同位置的图像块;当对象位于同视
    点(Horopter)平面层时,关联图像同时也是对应视网膜图像,此时视差为零;
    当对象位于非同视点平面层时,关联图像是移位过的图像,而非对应视网膜图像,
    此时对应视网膜图像之间存在视差;

    2)、存在视差的对应视网膜图像依然存在部分关联像素点,剩余部分则为未
    关联像素点为非关联像素;将图像块中非关联像素的百分比称为非关联像素比
    PUP;

    对于对应视网膜图像块a,其区域面积为Sa,其宽为Wa,其视差为da,关
    联的对应视网膜图像区域面积SLinked表示为:


    相反的,若SLinked已知,那么视差da表示为:


    由以上公式可看出,对于给定块a视差并将这一比例因子
    定义为非关联像素比PUP;

    基于PUP的概念可知,图像块中的关联像素是指场景中相同对象在左右视
    点成像结果,关联像素具有相似的亮度及纹理特征;图像块中非关联像素数的百
    分比定义为PUP,PUP与该图像块的视差成正比关系;

    基于PUP概念,本发明通过Gabor方向滤波方法提取图像中各像素的纹理
    特征,通过亮度重量化提取图像中像素的亮度特征;在此基础上,利用变换得到
    的纹理与亮度的联合特征,通过联合特征直方图即可提取每个图像块的PUP值,
    从而简化PUP计算,同时增加PUP的鲁棒性。

    优选地,所述的第二步通过以下方式实现:

    1)、利用不同方向的Gabor滤波器对图像进行方向滤波,并对滤波后的特征
    值进行归一化后得到方向滤波图像Gj(x,y,θ)(j=l为左图,j=r为右图,θ为
    所用二维Gabor滤波器方向参数,一般取0°,45°,90°和135°,(x,y)为图像
    中各像素位置);

    2)、若像素点在某方向上的方向特征足够大,该点就被标记为high,反之则
    标记为low;方向特征的大小可用阈值TG(θ)区分;由下式提取各像素点的方向
    性特征Oj(x,y,θ)(j=l,r):


    方向分类特征值计算需分别在多个角度上进行判别,再结合亮度分布特征将
    各像素按亮度划分为多个等级;按方向特征与亮度分布特征进行结合,得到总的
    Nhist组特征组合,则图像块的非关联区域面积Sunlinked和PUP分别定义为:



    其中:Ntotal为图像块中总的像素数,Hl(i)为经方向特征及亮度特征变换后
    左图像块中特征值为i的点数,Hr(i)为右图像块中特征值为i的点数。

    优选地,所述第三步通过以下方式实现:

    对于位于图像中(x,y)处图像块,若右视图中关联图像移位到对应视网膜图像
    的左端,那么视差为负;通过比较左右移位右视图图像块位置后的PUP值来确
    定图像中(x,y)处图像块PUP(x,y)的正负,对应表示该图像块视差的正负:



    其中:t=PUP(x,y)×W,W为图像块宽度;

    当PUPL,(x,y)≤PUPR,(x,y)时,左图有更多像素关联到右视图中左移的图像,视
    差为负,则该点PUP取负值。

    PUPL,(x,y)表示右图左移t后计算的(x,y)处图像块的PUP值,PUPR,(x,y)表示
    右图右移t后计算的(x,y)处图像块的PUP值,为左图像块的特征直方图,
    表示位于(x,y)处图像块中特征值为i的像素数,为右图像块的特征
    直方图,表示位于(x±t,y)处图像块中特征值为i的像素数;

    第四步,所述的第四步通过以下方式实现:

    PUP描述的最大视差由图像块宽度决定;对于包含多变视差等级及多细节的
    图像块应采用更小的尺寸,对于包含较少视差等级及细节的图像块应采用更大的
    尺寸,因而分不同的尺寸处理是有必要的;

    对象能双目融合的区域称为Panum融合区,其中用来定义舒适观看条件下
    的最大视网膜视差的子区域称为Percival舒适域;当图像块的视差比Percival舒
    适域更小时,其对视觉体验影响微??;当视差超过Panum融合区时,视觉上的
    不舒适程度会急剧增加;因此,三种不同尺寸的图像块宽度由舒适域及融合区确
    定;最大块宽度模式(L)对应融合区的视差限制,最小块宽度模式(S)对应
    舒适域的视差限制,平均块宽度模式(A)对应以上两种域视差限制的平均值,
    计算得到对应的PUP图PUPi(i=L,A,S);

    另一方面,宽度较大的图像块可能会包含多个视差平面及不同的对象,从而
    影响视差描述的精度,因此采用重叠的横向块移位窗口,其移位值为
    bs×Wb(bs<1),比块宽度Wb??;若用HI和WI分别表示图像的高度和宽度,Hb
    和Wb分别表示图像块的高度和宽度,则PUP图表示为:


    PUP图中图像块的总数为:


    第五步,所述的第五步通过以下方式实现:

    对PUPi(i=L,A,S)图按各点的值的大小进行排序得到{PUPi(n)},PUPi(n)
    表示PUPi图中第n个最小值,分别表示PUPi图中正负值的数目,
    分别表示{PUPi(n)}中低于5%、高于95%PUP值的数目,为{PUPi(n)}
    中总的点数,则提取的特征分别表示为:





    在上式中,若则则

    最后通过SVM对提取的特征与主观评价值进行回
    归建模,建立3D图像舒适度质量评价模型。

    根据本发明的第二方面,提供一种基于PUP图的3D图像舒适度质量评价
    系统,所述系统包括:

    PUP概念??椋和ü亓枷?、对应视网膜图像概念引出PUP概念;

    所述关联图像定义为:视觉系统中双目视为具有对应关系的图像块;

    所述对应视网膜图像定义为:映射到左右视网膜和视觉皮层相同位置的图像
    块;

    当对象位于同视点平面层时,关联图像同时也是对应视网膜图像,此时视差
    为零;当对象位于非同视点平面层时,关联图像是移位过的图像,而非对应视网
    膜图像,此时对应视网膜图像之间存在视差;

    存在视差的对应视网膜图像依然存在部分关联像素点,关联像素是指场景中
    相同对象在左右视点成像结果,关联像素具有相似的亮度及纹理特征,剩余部分
    则为未关联像素点称为非关联像素;将图像块中非关联像素的百分比称为非关联
    像素比PUP,PUP与该图像块的视差成正比关系;

    特征组分类??椋涸赑UP概念??槿范≒UP定义的基础上,利用各像素在
    不同角度下的方向特征以及亮度分布特征将其映射到不同的特征组,并通过特征
    组直方图中像素分布计算非关联像素数目,从而确定PUP的计算公式;

    正负视差定义??椋涸谔卣髯榉掷嗄?楦龅腜UP计算公式基础上,根据
    PUP值正负进行图像块正负视差的判定,为正负PUP提取提供了准则,即通过
    比较右图像块左右移动后计算的PUP值大小,判定该图像块视差的正负,对于
    负视差情况取负PUP值,正视差情况取正PUP值;

    PUP图生成??椋夯谕枷窨檎篜UP值计算方法,通过Percival舒适域、
    Panum融合区原理确定图像块的三种不同尺寸,并采用部分区域重叠的图像块抽
    取方法,计算所抽取的每个图像块的PUP值,生成三种不同尺寸条件下对应的
    PUP图,用于3D图像特征提??;

    特征提取及评价??椋憾訮UP图生成??榈玫降娜植煌叽缣跫露杂?br />的PUP图,通过正负PUP均值、PUP前百分之五均值、PUP后百分之五均值提
    取3D图像特征,通过SVM方式建立3D图像舒适度模型,用于3D图像舒适度
    质量评价。

    本发明与现有技术相比较,具有如下有益效果:

    本发明引入PUP图概念,首次在立体图像舒适度质量评价方法上提出了无
    视差计算的3D图像舒适度质量评价方法,在无需视差计算条件下快速有效地进
    行3D图像舒适度质量评价,效果提升显著。

    附图说明

    通过阅读参照以下附图对非限制性实施例所作的详细描述,本发明的特征、
    目的和优点将会变得更明显:

    图1为本发明一实施例的基于PUP图的3D图像舒适度质量评价系统框图;

    图2为本发明一实施例的关联图像、对应视网膜图像等定义的示意图;

    图3为本发明一实施例的关联图像、对应视网膜图像位置关系的示意图;

    图4为IEEE-SA图像库中某3D图像,其中:右上角图像块视差较小,左
    下角图像块视差较大;

    图5为图4中右上角图像块和左下角图像块的左右视点图像;

    图6a-图6d为图5图像特征分组后的特征分布直方图;

    图7为基于部分区域重叠的图像块提取方法图示;

    图8为图4所示3D图像对应三种不同尺寸条件下生成的PUP图。

    具体实施方式

    下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的
    技术人员进一步理解本发明,但不以任何形式限制本发明。应当指出的是,对本
    领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形
    和改进。这些都属于本发明的?;し段?。

    如图1所示,本实施例提供一种基于PUP图的3D图像舒适度质量评价系统,
    所述系统包括:

    PUP概念???,根据关联图像、对应视网膜图像等概念,引出PUP的概念,
    用于为PUP的具体计算提供理论依据;

    特征组分类???,利用像素方向特征和亮度分布特征进行组合,映射到不同
    的特征组进行特征分类,在特征分类的基础上定义PUP的具体计算方法;

    正负视差定义???,根据上述的PUP的具体计算方法,给出通过正负PUP
    值来表示正负视差的表示方法;

    PUP图生成???,采用基于部分区域重叠的图像块抽取方法,根据Percival
    舒适域、Panum融合区原理确定图像块的三种尺寸,分别生成对应的PUP图;

    特征提取及评价???,通过对三种尺寸图像块提取的PUP图分别提取正负
    PUP图均值、PUP图前5%均值、PUP图后5%均值作为3D图像特征,通过SVM
    回归建模,结合SROCC、LCC指标进行3D图像舒适度质量评价性能对比。

    如图2-3所示,所述关联图像、对应视网膜图像:

    所述关联图像定义为:视觉系统中双目视为具有对应关系的图像块;所述对
    应视网膜图像定义为:映射到左右视网膜和视觉皮层相同位置的图像块;

    当对象位于同视点平面层时,关联图像同时也是对应视网膜图像,此时视差
    为零;当对象位于非同视点平面层时,关联图像是移位过的图像,而非对应视网
    膜图像,此时对应视网膜图像之间存在视差;

    存在视差的对应视网膜图像依然存在部分关联像素点,剩余部分则为未关联
    像素点为非关联像素;将图像块中非关联像素的百分比称为非关联像素比PUP;

    对于对应视网膜图像块a,其区域面积为Sa,其宽为Wa,其视差为da,关
    联的对应视网膜图像区域面积SLinked表示为:


    相反的,若SLinked已知,那么视差da表示为:


    由以上公式看出,对于给定块a视差并将这一比例因子定
    义为非关联像素比PUP。

    本发明中,PUP是针对一个图像块,整个图像分割成很多图像块,针对每个
    块计算的PUP值,按在图中位置排列,就得到PUP图。PUP值不能反映正负视
    差,仅反映视差大小,因此需要该???,通过判断确定PUP值的正负,对应视
    差的正负。

    图2中:a点处于同视点平面,视差为0,a’和a”互为对应视网膜图像并同
    时也是关联图像;b'和b”互为关联图像,b″′和b”互为对应视网膜图像;

    如图3所示,其中:阴影区域为对应视网膜图像域;(6)、(7)表明阴影域大
    小受图像大小影响;

    基于上述定义,以IEEE-SA立体图像库中的3D图像为例,对基于PUP图
    的3D图像舒适度质量评价方法进行详细介绍:

    第一步、任意选取库中一张3D图像(如图4所示),通过四种空间频率均
    为0.592周/度的不同方向的Gabor滤波器进行方向滤波,滤波后的特征值经归一
    化后得到方向滤波图像Gj(x,y,θ)(j=l为左图,j=r为右图);在某方向上响
    应足够大的像素点用high表示,响应相对较小的像素点用low表示;方向特征
    的大小用阈值TG(θ)区分,本实施例中取阈值TG(θ)=0.5,左右视点图像中像素
    点(x,y)的方向性特征提取公式如下:


    此处分别选取θ={0°,45°,90°,135°}四个角度滤波,共得到16个分类组(如
    表1所示)。根据亮度分布特征划分为5个分类组。进行方向特征与亮度分布特
    征组合,得到共Nhist=80组特征(图6a-图6d所示为图5图像块图像提取特征后
    基于新特征统计得到的特征分布直方图)。

    表1


    第二步、利用各像素在不同角度下的方向特征以及亮度分布特征将其映射到
    不同的特征组,并通过特征组直方图中像素分布计算非关联像素数目,从而确定
    PUP的计算公式;

    根据特征分组情况计算各图像块PUP值,具体计算公式为:


    其中:Ntotal为图像块中总的像素数,Hl(i)为经方向特征及亮度特征变换后
    左图像块中特征值为i的点数,Hr(i)为右图像块中特征值为i的点数。

    第三步、通过比较右图像块左右移动后计算得到的两个PUP值的大小,判
    定该图像块视差的正负,对于负视差情况取负PUP值,正视差情况取正PUP值;

    根据PUP定义正负视差的公式定义PUP正负值,若PUPL,(x,y)≤PUPR,(x,y),
    则此时为负视差,PUP标记为负数。

    第四步、通过Percival舒适域、Panum融合区原理确定图像块的三种不同尺
    寸,并采用部分区域重叠的图像块抽取方法,计算所抽取的每个图像块的PUP
    值,生成三种不同尺寸条件下对应的PUP图,用于3D图像特征提??;

    根据Panum融合区及Percival舒适域原理确定三种不同尺寸的像素块。本例
    中图像均为1920×1080像素,根据上述规则选取大(L)、中(A)、小(S)三种
    图像块的宽度依次为480、192、80像素。

    在具体图像块分块中采用重叠移位思想(如图7所示),每次移位值为
    bs×Wb,其中bs<1,在此例中大、中、小模式下bs依次选为PUP图的
    像素块总数为:


    计算后得到三种不同尺寸图像块划分下的PUP图(如图8所示)。

    第五步、对三种不同尺寸条件下对应的PUP图,通过正负PUP均值、PUP
    前百分之五均值、PUP后百分之五均值提取3D图像特征,通过SVM方式建立
    3D图像舒适度模型,用于3D图像舒适度质量评价。

    根据正负PUP值的均值、5%前的PUP值均值、95%后的PUP值均值提取
    4组特征;具体计算为:





    在本实施例中,由三种不同的图像块提取尺寸生成的PUP图,共提取了12
    组特征??庵衅溆嗔⑻逋枷窬瓷鲜霾街璨僮?,再利用SVM回归分析方法建立
    3D图像舒适度模型。利用EPFL与IEEE-SA这两个立体图像库,计算所建立模
    型的SROCC、LCC指标,并与Park“3D视觉舒适性预测”一文中结果进行比较,
    表2所示:

    表2


    本发明在两个指标上性能与Park方法接近,但在计算速度方面,由于不需
    要进行视差估计,有很大提升。

    以上对本发明的具体实施例进行了描述。需要理解的是,本发明并不局
    限于上述特定实施方式,本领域技术人员可以在权利要求的范围内做出各种
    变形或修改,这并不影响本发明的实质内容。

    关于本文
    本文标题:一种基于PUP图的3D图像舒适度质量评价方法及系统.pdf
    链接地址://www.4mum.com.cn/p-6079487.html
    关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服 - 联系我们

    [email protected] 2017-2018 www.4mum.com.cn网站版权所有
    经营许可证编号:粤ICP备17046363号-1 
     


    收起
    展开
  • 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
  • 时时彩带人稳赚 山东时时导航 七星彩100期 北京pk10赛车直播开奖记录 快3和值大小稳赚公式 福彩双色球网上投注 双色球最新最精准预测 官方三分赛车计划软件 双色球内部参选数据 3d无码遗漏组六 电子桌牌 pk10一天稳赚公式 买彩票稳赚不赔绝技 重庆时时猜龙虎走势图 pk10免费计划软件怎么样 快速时时正规吗