• 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
    • / 21
    • 下载费用:30 金币  

    重庆时时彩三星杀号网: 一种基于语义隐藏标引的视频内容管理方法.pdf

    关 键 词:
    一种 基于 语义 隐藏 标引 视频 内容管理 方法
      专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
    摘要
    申请专利号:

    CN201110090360.1

    申请日:

    2011.04.12

    公开号:

    CN102156734A

    公开日:

    2011.08.17

    当前法律状态:

    授权

    有效性:

    有权

    法律详情: 授权|||著录事项变更IPC(主分类):G06F 17/30变更事项:发明人变更前:马建国 黎茂锋 邢玲变更后:邢玲 黎茂锋 陈淼 马建国 马强|||实质审查的生效IPC(主分类):G06F 17/30申请日:20110412|||公开
    IPC分类号: G06F17/30; H04N21/238(2011.01)I; H04N21/8358(2011.01)I 主分类号: G06F17/30
    申请人: 西南科技大学
    发明人: 马建国; 黎茂锋; 邢玲
    地址: 621010 四川省绵阳市涪城区青龙大道中段59号
    优先权:
    专利代理机构: 成都行之专利代理事务所(普通合伙) 51220 代理人: 温利平
    PDF完整版下载: PDF下载
    法律状态
    申请(专利)号:

    CN201110090360.1

    授权公告号:

    102156734B|||||||||

    法律状态公告日:

    2013.05.29|||2012.05.30|||2011.09.28|||2011.08.17

    法律状态类型:

    授权|||著录事项变更|||实质审查的生效|||公开

    摘要

    本发明公开了一种基于语义隐藏标引的视频内容管理方法,通过定义语义空间表,然后用信息隐藏的方法把语义空间表和视频数据进行一体语义标引,从而让语义空间表与视频数据在网络迁移和传播过程中一直随同存在。视频应用系统如智能播放与下载代理、视频分级管理、网络管控等,通过提取视频数据的语义空间表,与信宿端的语义需求表进行对比计算,让计算结果来辅助系统决策视频数据的具体处理方式。由于隐藏标引的语义信息极难抹除和篡改,防止视频数据在二次传播过程中语义信息的丢失,同时,内容视频数据可有效地统一并关联起来,降低数据的冗余传输,大大提高网络的利用效率。同样还可以更好地帮助视频搜索引擎和其他视频应用系统进行视频数据的选择、拒绝、丢弃等操作,使网络空间中视频数据传播有序有节,发现视频更加有效快捷。

    权利要求书

    1.一种基于语义隐藏标引的视频内容管理方法,其特征在于,包括以下步骤:(1)、在信源端,根据视频内容和相关属性定义出视频数据所包含的视频内容的语义空间表,语义空间表包括内容描述、权属描述以及资源识别三大部分语义信息;(2)、在信源端,用信息隐藏的方法将语义空间表数据嵌入到视频数据中;(3)、在视频数据发生迁移后的信宿端,使用时,利用信息隐藏的逆方法提取视频数据中的语义空间表数据,得到视频数据的语义空间表;(4)、在信宿端,建立应用语义需求表,并与提取的语义空间表进行对比和运算,自主决定该语义空间表对应的视频数据的处理方式。2.根据权利要求1所述的基于语义隐藏标引的视频内容管理方法,其特征在于,步骤(1)所述的语义空间表由各数据项,即语义项组成;语义项包含了两部分,一部分是语义项名称,另一部分是语义项对应语义值,一个语义项可含有多值,在明文编码中用具体的字符或分离符号区分语义项名和语义项值,以及语义项多值之间的区分;语义项的修饰词包含修饰项名和修饰项值,一个语义项可以有零到多个修饰项,每个修饰项也可由多值,在语义空间表的明文编码中根据分离符号进行区分。3.根据权利要求1所述的基于语义隐藏标引的视频内容管理方法,其特征在于,步骤(2)所述的语义空间表数据为数据包;语义空间表数据包中,用12位二进制数来标识该包为语义空间表数据填充包;用4位二进制数来指明当前语义空间表数据的版本;用1位二进制数来指明是否压缩cmpr,以说明净荷payload中的语义空间表数据是否使用了压缩方式,是为1,没有为0;用15位二进制数表示包大小Packet?Size,根据语义空间表净荷的占位长度,如果是否压缩cmpr值为1,计算的是压缩后的长度;用16位二进制数来表示序列号Sequence?No,序列号表示的是当前语义空间表数据的序号;语义空间表数据包的净荷为表示语义空间表语义项的数据。4.根据权利要求1所述的基于语义隐藏标引的视频内容管理方法,其特征在于,所述的语义空间表数据还要用公共密钥进行加密,加密后的语义空间表数据打包后,与视频数据进行隐藏嵌入。5.根据权利要求1所述的基于语义隐藏标引的视频内容管理方法,其特征在于,所述的视频数据包括视频文件、视音频文件、实时视频以及动态图像组序列。6.根据权利要求1所述的基于语义隐藏标引的视频内容管理方法,其特征在于,所述的视频数据为视音频文件,步骤(2)所述的嵌入为:首先顺序的读取视音频文件F为数据流VAll,在读取过程中同时鉴别并分出目标视频码流VF和其它码流VOther,然后把目标视频码流VF和已经生成的语义空间表SST数据包利用适合目标视频码流VF的信息隐藏方法FM进行隐藏嵌入操作,并输出嵌入有语义空间表SST数据的新视频流VSST,:VSST=FM(VF,SST)其中FM为选定的信息隐藏方法,与具体视频压缩编码而进行的选择相关;新的视频码流VSST再和其它码流VOther一起通过同步信息Sync控制生产出含有语义空间表SST数据的新文件F’。7.根据权利要求1所述的基于语义隐藏标引的视频内容管理方法,其特征在于,所述的视频数据为MPEG2视频码流,步骤(2)所述的嵌入为:首先读取视频码流数据到帧缓冲区,然后识别视频组,接下来在关键帧上进行DCT系数修改,然后继续识别MPEG2中的像条和宏块,提取出各个宏块的DCT系数了,完成变长码解码;获取到宏块DCT系数后,根据信息隐藏方法FM判断宏块嵌入水印的可能性,并根据这个信息,将语义空间表SST数据包一位一位提取出来对DCT系数进行修改;修改完成后,在P帧中,对帧间预测的宏块的DCT差分值系数进行修改,修改到和未修改I帧时一样;然后将修改后的数据进行变长码编码,并写入为新的视频码流VSST,接下来判断有没有到输入视频流的文件末尾,如果没有,就继续读视频码流数据,继续嵌入语义空间表SST数据包。8.根据权利要求1所述的基于语义隐藏标引的视频内容管理方法,其特征在于,步骤(2)所述的嵌入中,在嵌入完一个语义空间表SST数据包后,继续在接下来的视频数据中嵌入第二个、第三个语义空间表SST数据包,并对每个语义空间表SST数据包进行自动增量编号,一直到视频数据的末尾。

    说明书

    一种基于语义隐藏标引的视频内容管理方法

    技术领域

    本发明属于视频内容管理技术领域,更为具体地讲,涉及一种基于语义隐藏标引的视频内容管理方法。

    背景技术

    除传统有线电视、地面电视开路电视和卫星视频外,目前互联网视频数据增长迅速,网络视频已经成为人们获取电影、电视、视频等数字内容的重要媒体,占据了互联网上绝大部分流量。中国互联网络信息中心(CNNIC)发布的27次中国互联网发展报告称,截至2010年12月,国内网络视频用户达2.84亿,在网民中的渗透率达62.1%,与2009年12底相比,网络视频用户人数年增长4354万人,年增长率18.1%。在线观看视频的比例快速提升,占比达95.4%,找到并下载观看的用户占比达47.6%。用户分享更为活跃,及时通信和社会化网络服务(SNS)成为互联网上进行视频分享的重要途径,85.4%的用户通过通信聊天工具、社交网站进行视频分享和转发。同时,利用智能手机或移动终端通过移动网络进行视频数据获取和分享上升趋势也非常明显,思科预测从2009到2014年,移动视频数量将增至原来的66倍,移动数据总流量将以每年108%的增长率递增,到2014年移动数据总流量将达到每月3.6千兆兆字节,视频内容占移动数据的66%。与之对应的视频市场规模发展迅猛,易观国际预计到2013年中国网络视频市场规模将达到69.9亿元,几大城市如杭州、无锡、重庆、北京等城市原唱动漫等都达到几万分钟产量。

    如此巨大的视频市场存在,也同时带来了互联网一系列的问题。由于竞争的需要,视频网站无序性的重复建设造成各种成品视频产品重复发布,社交参与型视频分享网站和p2p分享网络进一步提高了视频的重复性发布,与此相对的下载和接收更使冗余性重复传输剧增,无功流量占据了绝大部分,大大限制了互联网的在其他方面的性能发挥,妨碍了互联网各种业务的进一步快速发展。

    冗余性泛滥带来存储浪费与带宽浪费的同时,热点视频重复传输率的幂级数增长特性掩蔽了低热点有价值视频的传播与获取,搜索引擎搜索结果集被热点视频所充斥,大大提高了真实目标挤出率。

    同时,由于视频终端技术、视频处理技术、视频传输与获取技术的进步与普及,各种内容的视频在全球范围流动和迁移、网民的自主视频也大范围成长,对版权管理造成巨大困难。

    造成以上问题的原因在于,互联网设计与建造是从注重通信而发展起来的信息共享系统。如香农信息论一样的通信就是注重数据的有效传输,注重于信息语法形式(编码和解码),而对信息的语义也就是内容没有过多关注,这样信息在网络上迁移传输过程中不会注重其本身的内容。进一步来看,视频数据本身所含内容与含义非常丰富,且用机器进行内容语义分析非常困难,视频数据在网络中进行迁移和传输过程中对其进行语义探测并根据语义决定是否进行允许传播、确认播放和接收下载就非常困难。目前提出的语义网对信息资源有非常理想的处理方法,但因为过于理想,且系统要求全球互联网整合起来完成对信息资源的一体性且基本无二义性描述,工程太大以至于可行性太差,多年来在实际工作中无明显进展。

    在对视频内容进行管理的过程中,通常用文本元数据的方式来描述视频内容本身,以避免机器去理解以时间基线组织在一起图片序列所要表达的内容。视频内容管理包含视频文件管理和视频数据流的管理,也就是静态存在于磁盘、光盘等存储媒体中的数据和视频文件在传播状态下的数据。

    1、视频文件管理

    视频文件管理主要注重对视频文件内容的文本方式描述,文本之间的关系可以结构化并存入成熟的数据库,如关系型数据库。常常以文本元数据的方式对视频内容本身进行描述,文本元数据一方面描述视频文件表示的内容和与内容有关的属性,另外一方面描述视频文件之间或视频文件和其他资源如存储介质之间的关系。这样通过快速的数据库搜索,就可以发现用户查找的视频文件条目,并通过文件系统提供给用户相关的视频内容。

    2、视频数据流管理

    视频的使用目前以用户播放为最终目的占绝大多数,因此视频数据的迁移逐渐淡化了全体下载后播放而变成了以流媒体进行播送的方式,用户可以边下载边播放,大大节约了下载时间。这样视频数据流的管理就变得非常重要。视频数据流在通信模型的主要涉及信源组织、信道传输和信宿获取播放三个部分,分别对应于流式媒体播放前端组织(也即播放服务器)和实时传输信道(其代表为基于IP(Internet?Protocol,互联网协议)网络的RTP(Real-time?TransportProtocol,实时传输协议)传输方式和基于数字广播信道DVB(Digital?VideoBroadcasting,简称DVB)的TS(Transport?Stream,传输流)传输方式,以及播放终端。

    图1是数字视频广播系统以传输流的方式提供视频广播服务的原理图。该数字视频广播系统把视频文件库中的视频文件打包成固定长度包结构复用并放入信道进行传输。同时为了能让客户端(信宿)可以进行节目选择,服务端(信源)还根据视频文件相关联文本元数据结合播放时间安排以及视频节目的传输流(TS)流代码结合在一起形成EPG(Electronic?Program?Guide,电子节目菜单)节目单,并且把节目单也用TS流动方式传输到客户端让用户进行浏览,从而从复用的TS流中鉴别出感兴趣的视频节目。在这个过程中,信源端的音视频文件和该音视频文件内容描述信息是分别存放在音视频文件和文本元数据库中;信道中表示内容的文本元数据和音视频流也是分开用不同的TS流来进行传输的;在信宿端的EPG数据和用户选择的音视频文件也分开独立存在,在逻辑上相关,在物理上隔离。这样,客户端如果再次存放为视频文件时,如果不明确地用类似服务端文本元数据库进行联动存储就会丢失宝贵的内容描述性信息。当然在DVB播送服务中,这样合法的再存储需求不是普遍存在的,但二次存储和再迁移在网络大量应用的今天是大量存在的,这样不但造成服务媒体没有内容描述性文本信息以外,脱离原宿主游离视频媒体的版权?;ひ渤晌淮竽烟?。

    图2是RTP流式媒体服务过程中音视频文件和内容描述性的文本元数据存储、传输及接收原理图。

    在不以固定长度TS包进行流媒体服务的可以提供交互服务的互联网上,如图2所示,RTP流式媒体服务过程中音视频文件和内容描述性的文本元数据相关且也分离存在于交互通信模型的三个组成部分,即信源、信道和信宿中。服务端,即信源部分根据播送安排,音视频文件通过流媒体服务器向客户端提供流包交换的方式提供服务,当然点播的流是在客户提出请求后才开始发送,同时把视频文件的内容描述信息形成WEB方式的音视频服务目录清单,每个目录清单项对应到相关的节目流服务。这样客户端就可以通过点击WEB服务器上节目项来向TS流播放服务器提出发送节目流的请求,同时客户端控制媒体接收对应的RTP包序列,经过处理后进行存储、播放或再服务。

    在这个过程中,可以明显看到信源端(服务端)的音视频文件和内容描述的文本元数据分开存放;信道中更是用不同的internet协议来进行数据传输;并且在信宿端分开处理,最终接收的视频数据如果再迁移的话就非常容易因在上次接收过程中对应文本元数据没妥善组织存放而丢失,造成再服务的困难。

    当然,通过在视频文件头部嵌入内容描述性的文本元数据可以解决上面提到分离传输所带来的问题。但在音视频文件头部嵌入文本元数据的方式的鲁棒性不太足够。通过简单的数据结构分析,就能移除,替换和修改。且在视频文件压缩格式转换过程中也极易丢失这样的信息,因为文本元数据除了描述视频内容外,还可能描述版权等相关敏感信息,删除后不利于版权的?;?。

    这样鲁棒性要求高的语义标引在互联网视频内容极大丰富的情况下很有必要。首先极其丰富的视频文件因众多网民的炒作游离在互联网上不同的服务器、个人电脑、云服务平台等设施上,而游离的视频文件本身的内容描述性的语义标引,即文本元数据非常缺乏,对视频文件数据的收集非常困难,如果视频文件被众多的用户下载、传递、转换的过程中其本身的内容描述性的语义标引信息不以视频文件因网络位置的变化、格式和形态的改变而丢失,就更容易被再组织和检索。

    视频文件和流数据在互联网上的大量存在还引起另外一个问题就是某些流行或热点视频会因为网民大量复制、转发、再服务而呈幂级数放大效果。而因为没有统一内容描述而较难区分冗余性和冗余量的大小,冗余服务信息过载效应湮灭了其他有用视频数据的发现,排挤流稀疏的一些对特定人群有用的服务。

    发明内容

    本发明的目的在于克服现有技术的不足,提供一种基于语义隐藏标引的视频内容管理方法,以解决语义标引鲁棒性不强,而带来的语义标引信息容易被再组织、检索以及互联网上视频数据冗余性泛滥的问题。

    为实现上述目的,本发明基于语义隐藏标引的视频内容管理方法,其特征在于,包括以下步骤:

    (1)、在信源端,根据视频内容和相关属性定义出视频数据所包含的视频内容的语义空间表,语义空间表包括内容描述、权属描述以及资源识别三大部分语义信息;

    (2)、在信源端,用信息隐藏的方法将语义空间表数据嵌入到视频数据中;

    (3)、在视频数据发生迁移后的信宿端,使用时,利用信息隐藏的逆方法提取视频数据中的语义空间表数据,得到视频数据的语义空间表;

    (4)、在信宿端,建立应用语义需求表,并与提取的语义空间表进行对比和运算,自主决定该语义空间表对应的视频数据的处理方式。

    本发明的发明目的是这样实现的:

    本发明通过定义语义空间表,对视频数据进行一体语义标引,然后将其用信息隐藏的方法嵌入到视频数据中,从而让视频数据在网络迁移和传播过程中一直存在,视频应用,如播放、智能下载代理、视频分级管理、网络管控等信宿系统中,通过提取视频数据的语义空间表,并与信宿端得语义需求表进行对比,来决定视频数据的处理方式。由于信息隐藏方法将语义空间表数据嵌入视频数据中,语义信息极难抹除和篡改,有极高的稳固性,这样存在于网络空间中任一位置的同一视频数据可明显的统一起来,可防止视频数据在二次传播过程中语义信息的丢失和视频数据的冗余请求。同时,根据提取的语义空间表,可以进一步帮助视频搜索引擎和其他视频应用系统进行选择、拒绝、丢弃等操作,使网络空间中视频数据传播有序有节。

    附图说明

    图1是数字视频广播系统以传输流的方式提供视频广播服务的原理图;

    图2是RTP流式媒体服务过程中音视频文件和内容描述性的文本元数据存储、传输及接收原理图;

    图3是本发明基于语义隐藏标引的视频内容管理方法一种具体实施方式原理图;

    图4是图1所示的语义空间表数据包结构图;

    图5是视音频文件的嵌入过程原理图;

    图6是MPEG?2视频码流解码过程示意图;

    图7是MPEG?2视频码流中嵌入语义空间表SST数据包的示意图;

    图8是基于DCT系数修改的语义空间表SST数据包的嵌入过程示意图;

    图9是视音频文件中提取语义空表SST’的过程图;

    图10是在MPEG?2文件上检测还原语义空间表SST’的过程图;

    图11是智能视频代理接收系统应用示意图;

    图12是视频内容分级接收系统应用示意图;

    图13是社区智能视频群体用户代理服务应用示意图。

    具体实施方式

    下面结合附图对本发明的具体实施方式进行描述,以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是,在以下的描述中,当已知功能和设计的详细描述也许会淡化本发明的主要内容时,这些描述在这里将被忽略。

    实施例

    图3是本发明基于语义隐藏标引的视频内容管理方法一种具体实施方式原理图。

    如图3所示,在本实施例中,本发明基于语义隐藏标引的视频内容管理方法包括以下步骤:

    一、定义一个语义空间表

    在信源端,根据视频内容和相关属性定义出视频数据所包含的视频内容的语义空间表(Semantic?Space?Table,简称SST),语义空间表包括内容描述、权属描述以及资源识别三大部分语义信息。

    1、语义空间表的结构

    语义空间表中各数据项,即语义项代表的是语义空间表的组成,各语义项可进一步添加修饰词来扩展语义的具体含义,方便搜索引擎发现或应用系统使用,语义项体现了视频数据的某方面含义或视频的属性。语义空间表可按一定格式对语义项进行组织,组织也就是对语义表进行明文编码,编码主要考虑语义项的同步开始符和结束符、语义项之间的分离符。

    语义项包含了两部分,一部分是语义项名称,一部分是语义项对应语义值。一个语义项可含有多值,可由此需要在明文编码中用具体的字符或分离符号区分语义项名和语义项值,以及语义项多值之间的区分,语义项的修饰词也包含修饰项名和修饰项值,一个语义项可以有零到多个修饰项,每个修饰项也可由多值,在语义空间表的明文编码中都可以根据特殊的分离符号进行区分。如果在语义值中包含有分离符号在此字符前添加转义字符如“/”。语义空间表的明文编码结束后需要对语义空间表进行熵编码以降低语义表嵌入量,使嵌入更能成功,同时,根据应用系统可选择熵编码。

    语义空间表用来表示某视频数据的标引体,同都柏林核心元数据倡议(DublinCore?Metadata?Initiative,简称DCMI)针对出版物定义的都柏林核心元数据集类似,在本实施例中,语义空间表SST用一维的元数据元素组成,具体见表1所示:

    表1

    在本实施例中,如表1所示,语义空间表包括内容描述、权属描述以及资源识别三大部分语义信息,其中每一个部分由多个语义项组成。语义项名称选取与解释、数据编码和规范、必备性、是否为多值、是否有修饰词、数据类型以及数据占位长度,需要国家标准或行业规范制定的情况下才能作为统一的要求,在没有国家标准和行业规范之前,可以自己定义相关语义项进行使用。在表1中,最后的“其它”部分只是因为有关视频语义空间表的语义项太多且国家标准或行业规范未定情况下的一种体现,表示还有很多的语义项可以选择加入语义空间表中来并进行定义??悸堑接眯畔⒁氐姆椒ń星度?,而隐藏嵌入数据量受具体视频影响,需要尽可能精简语义空间表数据量。

    表1中每个语义项的编码或规范指的是该语义项取值是否从一些规范中来,这样语义项的取值更加规范,比如主题Subject语义项编码规范是“中分表”,“中分表”即《中国主题词分类表》,分类表中对众多的主题词按学科进行分门别类的处理,并用字母加数字的代码方式进行一一对应。比如我们在某个视频的主题subject值中填入S028133,通过查《中国主题词分类表》就知道表示的是“光学计算机”这个主题词。显而易见,复杂的词,占有较多数据位的词都可以用这样的代码来进行处理以节省数据量。必备性指的是最终嵌入视频数据过程中是否必须要有此语义项对应的值存在,因为某些语义项,比如版权申明信息显而易见是非常重要的,因此是必备的。多值性类似于CDMI定义元数据的重复性,比如某个视频的制作人可以是多个而不仅仅是一个。修饰词是为了进一步描述视频数据某个方面相关特性而进行的进一步描述。数据类型借用的是数据库中常用的字段数据类型。数据长度在前面已经提到过了。

    为把视频数据的内容描述得更为深入,方便视频的查询与检索,表1中的语义空间表SST某些语义项还可以通过修饰符进行进一步的描述,并把某个语义项进行细分。在此不对每个特定语义的修饰词进行一一说明,只举典型的例子加以阐述。比如“概要描述”这个语义项本身的概括性太强,只是用来描述整个视频的内容,没有细分。比如可以加以修饰词“摘要(abstract)”,这样就专门在摘要的空间中加入关于该视频的摘要信息,比如加入“章节(chaper)”就可以进一步像DVD分章节那样对每段视频进行继续描述,方便更精细的查询,同时,对于视频数据来说,目前网络上对视频加的大量流行标签也可引入修饰词“标签(Tags)”,让有限的语义项尽可能多的描述视频内容。

    2、语义空间表的语义项编码组织形式

    在上一节中标明了视频数据的语义空间表的语义项组成,其中某个语义根据对内容的描述深度,还可以进一步利用修饰词(Modifier)标识符号进行描述,但对修饰词来说,原则上不再设置下一层的修饰符号,也就是双层结构的元素组成方式。

    如下表2为语义项的层次结构,其表述了一个语义项及其修饰词和词的语法,其中<Element?Identifier>为语义项标识符,语义项标识符号后“[]”表示对应的具体取值,取值如果允许多值可以用西文逗号隔开它们。然后该语义项如果存在修饰词,则修饰词用缩进的方式排在第二行,且用阿拉伯数字对修饰词进行排序,本发明不限制使用特定的分隔符,本节举例的分隔符如“<”,“>”,“[”,“]”可被其它形式的分隔符所代替。

    表2

    这样,多个语义项和取值组成的对视频数据的语义描述就如表3方式

    表3

    用一个例子代码来表示语义项概要描述Description如表4所示

    表4

    以上形式在进行数据存储或xml,RDF转换的时候很容易用XML的语法格式进行处理,在本实施例中,均需要以这样的概念型语法格式和其他信息系统交换元数据。在本实施例中,语义空间表的命名空间写法是一种语法示意,在具体实现语义空间表数据嵌入过程中还可以进行简略。

    这样语义空间表净荷(SST?Payload)可以表示成顺序存放的数据,如表5中语法代码所示,语义项与语义项之间的划分用分隔符“<”,”>”,“[”,““]”来处理。如果语义空间表净荷中有和分隔符冲突的字符,在填充前就在冲突字符前加入转义字符“/”,形如“/<”,“/>”,如果净荷payload中本身存在转义字符“/”,则也在其前面加上转义符号“/”。

    表5

    在本实施例中,为了区分从视频数据中检测出来的信息是否是语义空间表信息,以便进一步分析和处理,在定义语义空间表数据包装结构时可以在语义空间表净荷SST?payload前添加SST包头,以便鉴别使用。

    图4是图1所示的语义空间表数据包结构图。

    在本实施例中,如图4所示,语义空间表数据包中SST?Identifier用12位二进制数来标识该包为语义空间表数据填充包,定为全1位串,“11111111111111”,版本version指明当前语义空间表数据的版本,即随后数据结构应符合当前版本定义的标准,用二进制数“0001”来表示;是否压缩cmpr占1二进制数,说明的是净荷payload,即语义空间表数据是否使用了压缩方式,是为1,没有为0;用15位二进制数来表示包大小Packet?Size,根据语义空间表净荷的占位长度确定,如果是否压缩cmpr值为1,计算的是压缩后的长度。由于视频数据可能很长,每过一段时间有可能重复注入该语义空间表数据,用16位二进制数来表示序列号Sequence?No,序列号表示的是当前语义空间表数据的序号,如果语义空间表数据包是不重复的,这样可以发现视频数据有没有被截断、部分篡改等方面的情况。

    在信源端,根据定义的语义空间表结构和视频数据的内容和相关属性得到视频数据的语义空间表,然后进行编码后,形成语义空间表数据。如图1所示,为保证语义空间表的安全,在本实施例中,语义空间表数据还要用公共密钥K进行加密,加密后的语义空间表数据打包后,与视频数据V0进行隐藏嵌入。

    在本实施中,视频数据包括视频文件、视音频文件、实时视频以及动态图像组序列。

    二、语义空间表数据的嵌入

    如图1所示,在信源端,用信息隐藏的方法FM将语义空间表SST数据的数据包嵌入到视频数据Vo中,得到包含语义空间表SST数据的视频数据VSST。

    信息隐藏方法FM对语义空间表数据进行嵌入,如可以采用数字水印的方式嵌入,具体的信息隐藏方法FM和视频数据格式根据具体情况而定。在本实施例中,语义空间表数据SST做成数据包,放入视频数据的压缩部分,如修改DCT系数和运动向量数据部分,这样在文件迁移过程中不易引起数据的丢失。因此对视频文件来说,由于视频文件往往同时包含音频轨道和视频轨道,因此首先需要分离出视频轨道,通过熵解码后在视频轨道中找出图片组(Group?ofPictures,简称GOP),然后层层定位各类型帧、宏块、以及宏块的DCT系数和宏块的运动向量,通过修改宏块的DCT系数和运动向量达到隐藏语义空间表SST数据包的具体0和1数据位。针对摄像头或其他方式实时捕获的数据,在压缩的过程中即可修改DCT系数和运动向量,达到嵌入语义空间表数据bit位的目的。

    在嵌入完一个语义空间表SST数据包后,根据需要继续在接下来的视频数据中嵌入第二个、第三个语义空间表SST数据包,并对每个语义空间表SST数据包进行自动增量编号,一直到视频数据的末尾,这样重复冗余嵌入,方便网络视频数据出错的情况下仍然可以通过循环冗余校验恢复出语义空间表SST数据包,同时达到从视频数据任一点开始向后可完整恢复出语义空间表SST数据,以便帮助视频应用系统更好管理视频数据。

    图5是视音频文件的嵌入过程原理图。

    针对目前大量的视频数据,大多以音视频混合方式进行文件的存储,在本实施中,以语义空间表在静态视音频文件上的嵌入方式为例进行说明。

    视音频文件都包含了多轨道的数据,一般包含视频码流,一或多轨道的音频码流。由于为使音视频的同步,在音频码流和视频码流中都有相关的同步控制信息来控制解码后的同步播放。

    如图5所示,语义空间表数据的嵌入分为两条主线,一条主线是语义空间表SST语义项抽象、构造语义空间表并打包;另外一条主线是读取视音频文件F进行,然后将语义空间表SST数据进行嵌入到视音频文件F中。

    针对视音频文件,首先是确定视频空间表SST的语义项抽象,可以以人工的方式进行,当然也可通过目前一些先进方法分析视音频文件的视觉语义(Visual?Semantic)来抽象出语义空间表SST需要的文本型语义(TextualSematic),当然目前的视觉语义转化为文本方式描述语义还相对比较困难。接下来是语义空间表SST的构造,即语义空间表SST在嵌入前的封装和编码。封装的目的在于方便以后在应用过程中提取并还原;编码的目的一是在于保密和特殊应用的需要,二是在某些情况下可以缩小编码长度,提高水印嵌入的有效性。

    图5同时示意了在音视频文件中嵌入过程。首先顺序的读取视音频文件F为数据流VAll,在读取过程中同时鉴别并分出目标视频码流VF和其它码流VOther,然后把目标视频码流VF和已经生成的语义空间表SST数据包利用适合目标视频码流VF的信息隐藏方法FM(如视频水印)进行隐藏嵌入操作,并输出嵌入有语义空间表SST数据的新视频流VSST,可用下式表示:

    VSST=FM(VF,SST)

    其中FM为选定的信息隐藏方法,与具体视频压缩编码而进行的选择相关。新的视频码流VSST再和其它码流VOther一起通过同步信息Sync控制生产新文件F’,这样新文件F’就和原文件F一样具有完全等同的文件包装格式,没有破坏原来的存储结构,只是由于语义空间表SST数据包的隐藏嵌入影响了总文件大小,这样通过固定的结构数据化方式不易检测出具体语义元素所在的具体位置,增加了SST的隐藏特性。

    下面对信息隐藏方法FM,在本实施例中采用DCT(Discrete?CosineTransform,离散余弦变换)水印算法进行进一步说明。

    在本实施例中,针对视音频文件,其中视频编码基本看成是已经压缩的视频数据,但压缩视频数据有较多算法,针对不同压缩数据,有不同的水印算法可以选择。选取适当的水印算法可以使嵌入水印的信息容量更大、鲁棒性更好、或使嵌入与检出水印的计算复杂度降低,提高嵌入与检出语义空间表SST数据的速度。

    图6是MPEG?2视频码流解码过程示意图。

    下面以常见MPEG2压缩视频数据做进一步语义空间表SST数据包的水印嵌入进行说明。

    如图6所示,因为针对的视音频文件一般是已经经过压缩的数据,如针对MPEG2格式数据,在DCT变换系数上进行水印嵌入是常见的方式之一,而压缩数据中的DCT系数已经不能从视频码流的显示数据结构中直接进行提取。图5中视频数据VF需要先通过变长码解码才能看到DCT系数,接下来反量化、运动补偿、反DCT后的数据才形成了帧数据,然后才送到显示设备进行显示。

    图7是MPEG?2视频码流中嵌入语义空间表SST数据包的示意图。

    图7展示了先对视频码流只做变长解码,然后对解码后的数据做语义空间表SST数据的嵌入,同时做补偿处理并写视频数据,输出嵌入语义空间表SST数据的新视频流VSST,。小因为DCT系数上进行的水印信息嵌入基本是对关键帧I帧的操作,而关键帧是P帧和B帧的参考帧,I帧的变化累积误差将影响到P帧的还原,会带来视频质量的下降,因此需要做补偿处理。

    图8基于DCT系数修改的语义空间表SST数据包的嵌入过程示意图。

    在本实施例中,如图8所示,对信息隐藏方法FM嵌入语义空间表SST做了进一步的说明,左边框图为读取视频码流数据并嵌入,右边为准备语义空间表SST数据包并提供给左边进行嵌入。

    在左边框图中,首先读取视频码流数据到帧缓冲区,然后识别视频组(GOP),接下来的DCT系数修改是在关键帧上进行修改,故取第一个帧为关键帧,即I帧,然后继续识别MPEG?2中的像条和宏块,提取出各个宏块的DCT系数了,完成变长码解码。

    获取到宏块DCT系数后可以根据信息隐藏方法FM判断宏块嵌入水印的可能性,并把这个信息反馈到右边框图的流程中,将语义空间表SST数据包一位一位提取出来对DCT系数进行修改。修改完成后,因为引用了该关键帧的P帧会受到影响,所以需要在当前视频组中定位到紧接的P帧,对P帧中使用帧内编码的宏块不做任何修改,但对帧间预测的宏块的DCT差分值系数进行修改,修改到和未修改I帧时一样。然后将修改后的数据进行变长码编码,并写入为新的视频码流VSST,接下来判断有没有到输入视频流的文件末尾,如果没有,就继续读视频码流数据,继续嵌入语义空间表SST数据包。

    从右面的框图可以看出,语义空间表SST数据包是重复嵌入到视频码流中的,每次如果到语义空间表SST数据包的尾部,就会把接下来将要嵌入的语义空间表SST数据包的序号(Sequence_No)增加1,这样就是重复冗余地嵌入语义空间表SST数据,可提高语义空间表SST数据纠错外,在视频被编辑截断的情况下仍然可以有效检测出来。在右边框图中还有个转码过程,也就是把原来的语义空间表SST数据序列中的位’1’转变成整数1,把序列中的位’0’编程整数-1,并以此来调制左边框图中的水印。

    当对I帧的DCT系数进行修改以后,一定会影响到该GOP中P帧图像,因此需要修改该I帧后面第一P帧的预测色度值。也就是对该P帧进行重新预测,对P帧中帧内编码的宏块保持不变,帧间编码的宏块修改色度差分值,使解码后该块的色度值和未嵌入前相同。

    本实施例中,用MPEG?2编码的DCT嵌入过程和方法进行说明,并非一定要求视频码流语义空间表的嵌入一定选用DCT,对于如H.263/AVC等,可以选用适合水印嵌入方法来嵌入。

    三、语义空间表数据的提取

    如图1所示,在视频数据VSST发生迁移后的信宿端,使用时,利用信息隐藏的逆方法FM-1提取视频数据VSST中的语义空间表数据,得到视频数据的语义空间表SST’。

    如图1所示,在本实施例中,视频数据VSST迁移过程中,加入了视频噪声n,因此,变成包含语义空间表SST数据的视频数据VSSTn。

    视频数据VSSTn,如静态视音频文件或实时流数据或下载流数据中利用信息隐藏的逆方法FM-1提取恢复语义空间表SST数据。对静态文件,首先解析出视频数据轨道,然后熵解码,然后定位GOP、宏块,从压缩数据如DCT系数和运动向量数据中判断语义空间表SST数据包每一位的值,并把获取的数据位进行拼接。在拼接后的数据中如果发现起始码和数据长度字段值小于等于拼接数据长度,则把头部以前的数据和该部分数据进行合并,并根据需要在公钥系统下进行解码,然后在进行语义空间表的熵解码,从而恢复出语义表的明文语义空间表SST’数据。

    下面以视频文件语义空间表数据的提取进行说明。

    很多情况下需要从存储在介质上的视音频文件检出语义空间表SST’数据的定位语义项内容,比如组织一个视频检索库就需要把视音频文件内容等相关的元数据用速度高、吞吐量大的关系数据库进行组织,而通过扫描视音频文件本身花费时间太长,不适宜做数据搜索,因此视音频文件很多时候只作为文件迁移以后第一次进行文本型数据的读出。在安排流媒体播送时,如果某视音频节目还没有相关内容的元数据,这时可以直接从已经具有语义空间表SST的视频文件中读出语义,组成传统EPG或播控平台的相关显示信息。

    图9是视音频文件中提取语义空表SST’的过程图。

    如图9所示,顺序读取具有SST视音频文件F’,并从视频流VAll中读出其中的视频码流VF,接下来用水印检测方法,即信息隐藏的逆方法FM-1检测出语义空间表SST’数据,再通过密钥还原成明文的语义空间表SST’,其中的语义项可以直接从语义空间表SST’数据包中的净荷Payload中提取。其中的密钥Key可以根据应用的不同而制定相应的密钥管理策略。同时在检出水印信息的时候,如果具有SST视音频文件F’有被编辑或引入了噪声的可能存在,则检出水印的过程需要由语义空间表SST’还原程度决定,如果还原程度没有达到要求,就会继续读取视音频文件数据进行还原,直至满足要求或遍历完整个具有SST视音频文件。

    图10是在MPEG?2文件上检测还原语义空间表SST’的过程图。

    图10是对MPEG?2文件进行水印检测的过程,通过读取视音频文件中的视频数据码流,并识别出GOP,识别GOP中关键帧,即I帧,识别像条并定位宏块,获取像块DCT系数,读取DCT系数做转换,得到水印,读出水印,读出的水印位经过连接转换来填充语义空间表SST’数据。直到还原成要求的数据或遇到文件结束。

    四、视频内容的管理

    如图1所示,在信宿端,建立应用语义需求表,并与提取的语义空间表进行对比和运算,自主决定该语义空间表对应的视频数据的处理方式。在本实施例中,这一步骤由信宿端视频应用管理系统完成。

    在本实施例中,提出了两个典型应用,其中的“迁移网络”为一广义的视频数据转移环境,视频数据也可能是本地文件系统之间的拷贝、移动、有限编辑,也可以是从文件系统到数据库系统之间的迁移,也可以是视频数据在数字视频广播网络如DVB或AVS系统上的传输,也可以是基于互联网或移动网络上的数据传播,在异构网络之间的传输也当然归为数据的迁移与变换。在视频数据迁移过程可看成通信系统通信过程,通信信源端的视频内容要么是接收来的已经具有语义空间表SST的数据,要么是需要进行语义空间表SST数据嵌入后进行传输的数据;信宿端的应用系统就需要进行语义空间表SST的检测并根据目标应用对语义空间表的映射进行相关处理,从而使视频应用系统对视频内容管理更方便,使系统不再仅仅注重数据传输,而同时也能更好关注迁移中数据内容内涵,使系统智能更易实现。在一次数据迁移过程中,对信宿端,总存在提取语义空间表SST的过程,该过程根据需要总需要相关密钥K’授权才能进行信息隐藏逆的方法FM-1的抽取和还原过程,该密钥K’和密钥K为公钥系统中的一对,对不同类型的应用所采用的密钥管理分发策略也不同。注意在以下两个例子中,在一次迁移过程中,均表明了视频数据进行语义空间表SST的嵌入,并非任何应用系统都需要兼顾信源端和信宿端的语义空间表SST处理,正如前面所说,信源端的语义空间表SST可能已经具有,而信源端只负责数据的传输服务就可以了。而此时信宿端的K’需要和该视频数据最初进行语义空间表SST的嵌入时所用的K相配对。

    1、“智能视频代理接收系统”应用举例

    图11是智能视频代理接收系统应用示意图。如图11所示,在资源如此浩大的今天,让计算机帮助人们发现符合用户需求的资源变得越来越重要,图11表达了这样一个场景,就是在网络上存在的视频数据嵌入有语义空间表SST,在每次视频资源存取,也可看成迁移过程中,就可以很容易的进行还原,再和用户本地语义需求表SRT进行比较运算的情况下,就可以很容易的发现迁移的视频数据是否是用户需求的视频数据。

    图11展示了使用隐式语义嵌入方法的一个智能适配代理接收系统的应用原理图,该图中语义空间表SST包括了必要的关于视频数据进行内容描述的语义项,在进行隐式嵌入后可在网络中迁移。用户智能代理系统根据用户兴趣代理模型,即语义需求表SRT、水印检测密钥来计算目标视频数据是否是用户感兴趣对象,并执行相应控制决策(Control?Decision)CD,达到自动化、智能化的目的。

    2、“视频内容分级接收系统”应用举例

    图12视频内容分级接收系统应用示意图。如图12所示,在网络越来越普及,资源传输越来越容易的今天,视频内容分级播放和传输有极大的市场空间有待开发。为?;ど倌甓】党沙?,对视频进行分级播放是一项必要的措施。图12展示了使用隐式语义嵌入系统的一个视频内容分级接收应用系统原理图,图中用户的语义需求,兴趣语义表SRT来自于被计算机系统采集的计算机用户特征语义空间。

    图中SST语义项集中引入了关于安全的相关语义,如视频内容分级信息,如图中的18岁,表示适合18岁以上人收看,对应于右边用户语义需求,即特征语义表SRT表中的语义项:<yrs>[13]。同理,在条件接收系统中,根据水印检测密钥进行语义检查,在把检出的语义空间表SST’和用户端语义需求表SRT的条件信息来执行相关的操作,如播放、存储、丢弃、提示信息等动作。

    3、“社区智能视频群体用户代理服务”应用举例

    图13是一个典型的“社区智能视频群体用户代理服务”,可以看成是个人视频存储智能代理类似应用,虚线框内表示区域网络出口位置的一智能代理服务器,该代理服务的应用可以大大降低区域网络的出口交通量,也就是应用边缘存储的方式降低主干网络拥塞并提高区域访问速度。该缓存服务通过对社区群体的访问记录的挖掘和分析,构建群体访问兴趣图谱,用GDNA表示,GDNA事实上等同于通用的用户端语义需求表SRT,语义检测模组可分析区域网络外的广泛视频资源的内容语义空间表SST’,通过SST’和GDNA的运算来预测命中率高的资源Vo,用控制决策CD控制效应器把目标VSSTn缓存在区域存储器NAS中。这样区域用户的大量访问将直接在就近存储中访问到,只有少量非共性资源才需要在区域代理服务之外访问,大大减少主干网的数据流量,提高区域用户的服务质量。

    尽管上面对本发明说明性的具体实施方式进行了描述,以便于本技术领域的技术人员理解本发明,但应该清楚,本发明不限于具体实施方式的范围,对本技术领域的普通技术人员来讲,只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内,这些变化是显而易见的,一切利用本发明构思的发明创造均在?;ぶ?。

    关于本文
    本文标题:一种基于语义隐藏标引的视频内容管理方法.pdf
    链接地址://www.4mum.com.cn/p-5866262.html
    关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服 - 联系我们

    [email protected] 2017-2018 www.4mum.com.cn网站版权所有
    经营许可证编号:粤ICP备17046363号-1 
     


    收起
    展开
  • 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
  • 盛达娱乐游戏 2009排列五走势图 内蒙古时时彩玩法介绍 黑龙江时时彩开奖记录 北京快中彩开奖走势图 3d试机号30期开奖 海王捕鱼2怎么中巨奖 上海天天彩开奖结果 冠通棋牌3d手机版 2017124期福彩中奖 云南时时彩走势 淘宝快3吧 澳洲幸运8福彩中心地址 福彩3d和值走势图2元网 奥博真人龙虎斗平台 地下城勇士中的主角职业技术学院