• 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
    • / 12
    • 下载费用:30 金币  

    重庆时时彩9码不挂技巧: 非结构化数据管理系统.pdf

    关 键 词:
    结构 数据管理 系统
      专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
    摘要
    申请专利号:

    CN201410067233.3

    申请日:

    2014.02.26

    公开号:

    CN103793531A

    公开日:

    2014.05.14

    当前法律状态:

    驳回

    有效性:

    无权

    法律详情: 发明专利申请公布后的驳回IPC(主分类):G06F 17/30申请公布日:20140514|||实质审查的生效IPC(主分类):G06F 17/30申请日:20140226|||公开
    IPC分类号: G06F17/30; H04L29/08 主分类号: G06F17/30
    申请人: 中国银行股份有限公司
    发明人: 陈爱华; 何方敏; 汤海荣; 刘哲; 张海鹏; 许纯旻; 欧阳蜀蓉; 徐树军
    地址: 100818 北京市西城区复兴门内大街1号
    优先权:
    专利代理机构: 北京金信立方知识产权代理有限公司 11225 代理人: 黄威;胡上海
    PDF完整版下载: PDF下载
    法律状态
    申请(专利)号:

    CN201410067233.3

    授权公告号:

    ||||||

    法律状态公告日:

    2018.02.09|||2014.06.11|||2014.05.14

    法律状态类型:

    发明专利申请公布后的驳回|||实质审查的生效|||公开

    摘要

    本发明公开了一种非结构化数据管理系统,包括:前端控件???,其安装于外围系统的用户终端上,用于非结构化数据的采集、交互和展现;协议封装???,其封装了用户终端与消息服务???、文件传输??榈耐ㄐ判?;消息服务???,其用于多线程并发处理,实现消息的接收、处理和反??;文件传输???,其用于内容传输;批处理???,其读取外围系统批量生成的内容文件和元数据文件,通过多线程轮询方式,将内容文件和元数据文件直接存储到数据库??橹?;数据库???,其存储非结构化数据本发明实现了非结构化数据的全生命周期管理,制定统一接口和数据规范,建立稳定有效的数据管理架构,实时共享,可扩展性强,保证高可靠、及时以及高吞吐量。

    权利要求书

    权利要求书
    1.  一种非结构化数据管理系统,其特征在于,包括:
    前端控件???,安装于外围系统的用户终端上,用于非结构化数据的采集、交互和展现;
    协议封装???,封装了所述用户终端与消息服务???、文件传输??榈耐ㄐ判?;
    消息服务???,用于多线程并发处理消息的接收、处理和反馈,具有消息线程数量及协议的动态配置与集群部署功能;
    文件传输???,用于内容传输;
    批处理???,读取所述外围系统批量生成的内容文件和元数据文件,通过多线程轮询方式,将所述内容文件和元数据文件直接存储到数据库??橹?;
    数据库???,存储所述非结构化数据,其中包括所述批处理??榇涞乃瞿谌菸募驮菸募?,并为所述消息服务??樘峁┠谌莶僮?。

    2.  根据权利要求1所述的非结构化数据管理系统,其特征在于:
    各个??橹涞慕涌诠娣兑约笆莨娣侗辉は裙娑?。

    3.  根据权利要求1所述的非结构化数据管理系统,其特征在于:
    所述前端控件??榫哂杏跋裆?,影像补录,影像修改,影像质检,批注,图像编辑,打印,导出,元数据编辑,同/异步上传下载功能。

    4.  根据权利要求1所述的非结构化数据管理系统,其特征在于:
    所述前端控件??槭鞘褂肅#所实现的ActiveX标准控件。

    5.  根据权利要求1所述的非结构化数据管理系统,其特征在于:
    所述协议封装??槭褂肧DK工具实施,通过调用所述SDK,执行影像内容的入库出库操作。

    6.  根据权利要求5所述的非结构化数据管理系统,其特征在于:
    所述SDK有java版和.net版,支持安装部署在AIX、Windows、Linux、HP四种操作系统。

    7.  根据权利要求1所述的非结构化数据管理系统,其特征在于:
    所述消息服务??槟芄痪伤銮岸丝丶?榛蛩鲂榉庾澳??,与所述外围系统的用户终端进行交互,用于所述非结构化数据的 操作;还能直接与所述外围系统的服务器终端进行交互,用于所述非结构化数据的操作。

    8.  根据权利要求7所述的非结构化数据管理系统,其特征在于:
    所述消息服务??槭褂胘ava实现多个socket接口,所述多个socket接口是并发的。

    9.  根据权利要求1所述的非结构化数据管理系统,其特征在于:
    所述文件传输??槟芄痪伤銮岸丝丶?榛蛩鲂榉庾澳??,与所述外围系统的用户终端进行交互,用于所述非结构化数据的操作,还能直接与所述外围系统的服务器终端进行交互,用于所述非结构化数据的操作。

    10.  根据权利要求1所述的非结构化数据管理系统,其特征在于:
    所述批处理??槭褂肍TP工具将所述内容文件和元数据文件放置在指定目录下。

    11.  如权利要求3所述的非结构化数据管理系统,其特征在于,
    所述前端控件??榛咕哂刑跣温胧侗鸸δ?,可在文件扫描时同步识别文件上的条形码,自动将影像挂在条形码所对应的交易编号目录下,从而对影像自动归类。

    12.  如权利要求9所述的非结构化数据管理系统,其特征在于,
    所述文件传输??橹С侄系阈δ?。

    13.  如权利要求9所述的非结构化数据管理系统,其特征在于,
    所述文件传输??榫哂胁问渲么涫莅笮」δ?,根据网络带宽的情况,改变传输数据包大小,从而增加传输成功的概率。

    14.  如权利要求1所述的非结构化数据管理系统,其特征在于,
    还包括:归档???,将业务办理结束的非结构化数据迁移到历史库中供外围系统查询,减轻对在线系统的压力。

    15.  如权利要求14所述的非结构化数据管理系统,其特征在于,
    所述归档??榇铀鐾馕低郴裰滴褚寻炖斫崾姆墙峁够?,将非结构化数据从数据库??榍ㄒ浦晾房?,外围系统再经由前端控件???、消息服务??榉梦仕龉榈的??。

    说明书

    说明书非结构化数据管理系统
    技术领域
    本发明涉及一种数据管理系统,特别涉及一种非结构化数据的管理系统。
    背景技术
    随着经济全球化的发展趋势,出现了一大批跨地区、跨国界的大型企业集团。这些企业集团的分支机构分布于世界各地,而各地分支机构需要共享信息以联合作业。因此,如何对其信息进行管控,以实现企业资源的共享,已成为该类企业营运的一个重要组成部分。而信息技术的发展,使得跨机构、跨地域的数据访问与协作成为可能。目前,为了提高数据访问的效率以及减小故障的损失,企业一般采用分布式数据管理系统。分布式数据管理系统是指物理空间分散、逻辑上通过网络连接在一起的数据存储、管理系统,在该系统中,用户能像访问本地存储区的数据一样使用远程存储区的数据。
    而在企业信息化建设中,除了结构数据之外,还出现了大量的非结构化数据。Web环境中出现的海量HTML与XML等格式数据,多媒体数据如声音、影片、图形等,企业信息化建设中合同文本、电子表格、简报档案、电子邮件数据、产品设计文档等,都是没有明确结构约束的非结构化数据。据研究报告显示,非结构化数据占全部数据总量的80%以上。非结构化数据在政府、企业决策中的重大应用需求中日趋重要。
    面对如此纷繁复杂的分布式结构,面对形式各异、信息量庞大的非结构化数据,如何能对分散的非结构化数据进行统一的集中管理,结束分散管理局面,如何能实现新增业务快速接入统一管理系统,以及如何满足行业企业系统的高并发、实时性和异地共享等需求,这些都是各个行业企业急需解决的技术问题。
    此外,非结构化数据隶属于外围系统业务,这些数据随业务生命周期的发展,利用频率会逐渐下降;为了合理利用资源,同时保证在 线业务数据的访问效率,需要将非结构化数据定义全生命周期:在线、近线、离线。对于不同生命周期的非结构化数据采用不同的数据访问以及数据备份策略。
    发明内容
    本发明的目的在于克服现有技术中的不足,提出一种非结构化数据管理系统,按照统一的接口和规范,统一管理分布式结构中的非结构化数据,使得正确的数据在正确的时间到达正确的地点,并打破地域界限,实现异地数据资源实时共享和非结构化数据的全生命周期管理。
    为了实现上述发明目的,本发明提出了一种非结构化数据管理系统,其包括:
    前端控件???,安装于外围系统的用户终端上,用于非结构化数据的采集、交互和展现;
    协议封装???,封装了所述用户终端与消息服务???、文件传输??榈耐ㄐ判?;
    消息服务???,用于多线程并发处理消息的接收、处理和反馈,具有消息线程数量及协议的动态配置与集群部署功能;
    文件传输???,用于内容传输;
    批处理???,读取所述外围系统批量生成的内容文件和元数据文件,通过多线程轮询方式,将所述内容文件和元数据文件存储到数据库??橹?;
    数据库???,存储所述非结构化数据,其中包括所述批处理??榇涞乃瞿谌菸募驮菸募?,并为所述消息服务??樘峁┠谌莶僮?。
    优选地,所述各个??橹涞慕涌诠娣兑约笆莨娣侗辉は裙娑?。
    优选地,所述前端控件??榫哂杏跋裆?,影像补录,影像修改,影像质检,批注,图像编辑,打印,导出,元数据编辑,同/异步上传下载功能。
    优选地,所述前端控件??槭鞘褂肅#所实现的ActiveX标准控件。
    优选地,所述协议封装??槭褂肧DK工具实施,通过调用所述SDK, 执行影像内容的入库出库操作;所述SDK有java版和.net版,支持安装部署在AIX、Windows、Linux、HP四种操作系统。
    优选地,所述消息服务??槟芄痪伤銮岸丝丶?榛蛩鲂榉庾澳??,与所述外围系统的用户终端进行交互,用于所述非结构化数据的操作,还能直接与所述外围系统的服务器终端进行交互,用于所述非结构化数据的操作。
    优选地,所述消息服务??槭褂胘ava实现多个socket接口,所述多个socket接口是并发的。
    优选地,所述文件传输??槟芄痪伤銮岸丝丶?榛蛩鲂榉庾澳??,与所述外围系统的用户终端进行交互,用于所述非结构化数据的操作,还能直接与所述外围系统的服务器终端进行交互,用于所述非结构化数据的操作;所述文件传输??橥ü鼵语言实现。
    优选地,所述批处理??槭褂肍TP工具将所述内容文件和元数据文件放置在指定目录下。
    优选地,所述前端控件??榛咕哂刑跣温胧侗鸸δ?,可在文件扫描时同步识别文件上的条形码,自动将影像挂在条形码所对应的交易编号目录下,从而对影像自动归类。
    优选地,所述文件传输??橹С侄系阈δ?。
    优选地,所述文件传输??榫哂胁问渲么涫莅笮」δ?,根据网络带宽的情况,改变传输数据包大小,从而增加传输成功的概率。
    优选地,非结构化数据管理系统还包括:归档???,将业务办理结束的非结构化数据迁移到历史库中供外围系统查询,减轻对在线系统的压力。
    优选地,所述归档??榇铀鐾馕低郴裰滴褚寻炖斫崾姆墙峁够?,将非结构化数据从数据库??榍ㄒ浦晾房?,外围系统再经由前端控件???、消息服务??榉梦仕龉榈的??。
    根据上述技术方案的分析可知,使用本发明中的非结构化数据管理系统及方法与现有技术相比较,具有如下有益的技术效果:
    1、对非结构化数据管理系统实施统一的接口,制定统一的非结构内容数据及元数据存储格式规范;
    2、对分布式结构中的非结构化数据建立稳定有效的数据管理架构,打破地域界限,实时共享,保证高可靠、及时以及高吞吐量;
    3、对新增业务实现快速接入,增强系统的灵活性和可扩展性;
    4、实现非结构化数据的全生命周期管理。
    附图说明
    图1是根据本发明的一个实施例的非结构化数据管理系统的结构框图。
    图2是根据图1所示实施例的影像内容管理系统架构图。
    图3是根据本发明的另一个实施例的非结构化数据管理系统的结构框图。
    具体实施方式
    下面结合附图和具体实施例对本发明作进一步详细描述,但不作为对本发明的限定。
    参见图1,表示根据本发明的一个实施例的非结构化数据管理系统的结构框图。本发明的非结构化数据管理系统需要与分布式安装于各个地点的外围系统相交互,尤其与外围系统中的用户终端相交互。这些用户终端可以分布在不同的办公地点,不同的城市,甚至可以分布于不同的国家。用户终端的用户对非结构化数据要采取一系列操作,这些非结构化数据例如HTML与XML等格式的数据,多媒体数据如声音、影片、图形等,企业信息化建设中合同文本、电子表格、简报档案、电子邮件数据、产品设计文档等,其格式各异,种类繁杂。外围系统中还具有一服务器终端,用于存储和备份大量的数据信息,可以为非结构化数据的批量处理提供数据支持。
    针对外围系统用户终端上用户操作多样性,以及服务器终端上数据的分散性、复杂性和实时性,设计了本发明的非结构化数据管理系统,其主要具有以下几个??椋?
    a)前端控件???,其安装于外围系统的用户终端上,用于非结构化数据的采集、交互和展现。该??榭梢愿萦没е斩说慕换ブ噶?,对所需要处理的非结构化数据进行影像扫描,影像补录,影像修改, 影像质检,批注,图像编辑,打印,导出,元数据编辑,同/异步上传下载等操作。由于非结构化数据的特殊性,使用影像扫描等操作能最大的保证数据的真实有效性。通过上述一系列对非结构化数据的操作,能够最真实有效的展现非结构化数据,并且可以实现非结构化数据管理系统与用户之间的交互。该前端控件??槭鞘褂肅#而实现的ActiveX标准控件。
    b)协议封装???,其封装了所述用户终端与消息服务???、文件传输??榈耐ㄐ判?。任何通信都需要协议的支持,协议中规定了通信的各种规则,而分布式结构中的通信既要保证各个终端之间通信的准确及时,又要保证通信数据的完整有效,因此,这里所提到的通信协议相当的复杂。
    该协议封装??槭鞘褂胘ava或者.net来实现的一种SDK工具,因此,该SDK有java版本和.net版本之分。该SDK工具可以被各个企业中业务系统中的应用程序所调用,实现非结构化数据内容文件的上传下载和其它管理操作,能轻松的实现非结构化数据的入库出库操作。
    以上前端控件??楹托榉庾澳?槎际粲诒痉⒚鞣墙峁够莨芾硐低车那岸擞τ貌糠?,其位于分布式结构中的前端应用处,为用户终端和非结构化数据管理系统之间的指令交互和信息交互提供了支持。
    c)消息服务???,其用于多线程并发处理消息的接收、处理和反馈,具有消息线程数量及协议的动态配置与集群部署功能。
    由于分布式结构中,分散于各个地点的终端或者服务器会发送各种各样的消息,来对非结构化数据进行各种不同的实时操作,因此在消息服务??橹行枰写罅康南⒋?。本发明的非结构化数据管理系统在apache mina基础上,使用java把消息处理??榭⒊赡艽泶罅坎⒎⒌膕ocket接口程序,控制消息流。MINA是一个网络应用程序框架,利用它可以容易地开发高性能和高伸缩性的网络应用程序。本发明的非结构化数据管理系统实现decode(解码)和encode(编码)方法,完成字节和消息POJO的相互转换,再为每个接口实现handler方法,调用非结构化数据管理API,以此来实现大量消息命令的接收、处理和反馈。另外,消息服务??榻玬ina和Spring框架结合,可以 实现消息线程数量、协议安装的动态配置、集群部署等功能,从而实现非结构化数据消息服务易扩展松耦合特性。
    所述消息服务??槟芄痪伤銮岸丝丶?榛蛩鲂榉庾澳??,与所述外围系统的用户终端进行交互,用于所述非结构化数据的操作,还能直接与所述外围系统的服务器终端进行交互,用于所述非结构化数据的操作;
    d)文件传输???,其用于内容传输,这里的内容包括非结构化数据文件内容。该文件传输??橥ü鼵语言实现,其接收用户终端发出的指令消息,按照指令所示,进行文件内容的传输。所述文件传输??槟芄痪伤銮岸丝丶?榛蛩鲂榉庾澳??,与所述外围系统的用户终端进行交互,用于所述非结构化数据的操作,还能直接与所述外围系统的服务器终端进行交互,用于所述非结构化数据的操作。
    e)批处理???,其读取所述外围系统批量生成的内容文件和元数据文件,通过多线程轮询方式,将所述内容文件和元数据文件存储到数据库??橹?。所述批处理??橐蠓植际浇峁怪械母鞲鲆滴裣低嘲凑张拷涌诶瓷赡谌菸募驮菸募?,它使用FTP工具将所述内容文件和元数据文件放置在指定目录下。它通过多线程轮询的方式,调用综合上传接口来实现将内容文件存储到数据库中的操作,在非结构化数据存储完毕后,生成结果文件。
    上述消息服务???、文件传输??楹团砟?槎际粲诒痉⒚鞣墙峁够莨芾硐低持械南低称教ú糠?,其用于接收外围系统中用户终端或服务器终端所发指令消息,在后台对非结构化数据进行上传、下载及管理操作。
    f)数据库???,其存储所述非结构化数据,其中包括所述批处理??榇涞乃瞿谌菸募驮菸募?,并为所述消息服务??樘峁┠谌莶僮?。
    其中所述各个??橹涞慕涌诠娣兑约笆莨娣抖际窃は裙娑ê玫?。这样,外围系统可以通过前端控件???、协议封装??榈腟DK工具、外围系统与系统平台直连、批处理??榕可洗人闹纸尤敕绞?,实现非结构化数据内容的上传、下载、版本管理等操作。本发明的非结构化数据管理系统便于数据接口和规范的统一,便于系统新增业务 的扩展,从而能够实现对非结构化数据的统一管理,建立了稳定有效的数据架构,保证了高可靠性和及时性。
    下面参考图2,根据一个实施例,表示一个影像内容管理系统架构图。上述已经提到非结构化数据包括例如HTML与XML等格式的数据,多媒体数据如声音、影片、图形等,企业信息化建设中合同文本、电子表格、简报档案、电子邮件数据、产品设计文档等,其格式各异,种类繁杂。而在该实施例中,使用用户终端采集的影像内容作为典型的非结构化数据,对这类影像内容数据进行管理,进而设计了如图2所示的影像内容管理架构图,它主要包括两大部分:外围系统和影像内容管理系统。
    1)外围系统中包括多个用户终端以及多个服务器终端。同样的,外围系统中的用户终端也是分布式的设置于不同的办公地点,不同城市,甚至不同的国家。外围系统还包括服务器终端,其也是分布式的设置于不同办公地点,它用于存储和备份大量的数据信息,可以为诸如影像内容的非结构化数据的批量处理提供数据支持。
    2)影像内容管理系统主要包括前端应用??楹推教ㄓτ媚??。
    2.1)前端应用??槲没е斩撕褪莨芾硐低称教ㄖ涞闹噶罱换ズ托畔⒔换ヌ峁┝酥С?,它包括:
    2.1.1)前端控件???,它安装于外围系统的用户终端上,用于非结构化数据的采集、交互和展现。该??榭梢愿萦没е斩说慕换ブ噶?,对所需要处理的非结构化数据进行影像扫描,影像补录,影像修改,影像质检,批注,图像编辑,打印,导出,元数据编辑,同/异步上传下载等操作。该实施例中非结构化数据具体化为影像内容。由于这些非结构化数据的特殊性,使用影像扫描等操作能最大的保证数据的真实有效性。通过上述一系列对影像内容的操作,可以实现影像内容数据与用户之间的交互,以及能够最真实有效的展现影像内容。该前端控件是使用C#而实现的一种ActiveX标准控件。
    所述前端控件??榘岣坏慕涌?,具有很强的兼容性,外围系统可传入不同的接口参数,达到不同的展现和控制目的,包括:自定义操作方式(上传/查阅/修改),自定义控件各区域显示,自定义菜单按钮显示,自定义文件层级目录结构,自定义影像属性名称,自定义 扫描默认参数,自定义影像展示方式,自定义同步或异步模式,自定义日志保存路径等。
    所述前端控件??榛咕哂刑趼胧侗鸸δ?,可在文件扫描时同步识别文件上的条形码,条形码代表交易编号,自动将影像挂在对应的交易编号目录下,实现影像自动归类。
    2.1.2)协议封装???,其封装了所述用户终端与消息服务???、文件传输??榈耐ㄐ判?。任何通信都需要协议的支持,协议中规定了通信的各种规则,而分布式结构中的通信既要保证各个终端之间通信的准确及时,又要保证通信数据的完整有效,因此,这里所提到的通信协议相当的复杂。
    该协议封装是使用java或者.net来实现的一种SDK工具,因此,该SDK有java版本和.net版本之分。该SDK工具可以被各个企业中业务系统中的应用程序所调用,实现非结构化数据内容文件的上传下载和其它管理操作,能轻松的实现非结构化数据的入库出库操作。
    如图2所示,协议封装??槔锇募淇突Ф?文件传输客户端负责与文件传输??榻形募?,其封装了文件传输的通信协议。关于图2,需要指出的是,前端应用??槭粲谟跋衲谌莨芾硐低澄馕低程峁┑谋曜冀尤牍ぞ?。逻辑上属于影像内容管理系统产品的一部分,由影像内容管理系统开发并提供给外围系统使用。但是物理部署时,前端应用??椴渴鹪谕馕低车闹斩松?。由于物理部署图不容易清晰地体现整个影像内容管理系统产品的各个??橹涞穆呒叵?,因此,图2中把前端应用??榛衷谟跋衲谌莨芾硐低持?,外围系统可通过前端应用??榻尤胗跋衲谌莨芾硐低?,体现了各个??橹涞穆呒叵刀皇俏锢聿渴鸸叵?。
    2.2)平台应用??橹邪礁鲋饕δ苣?椋耗谌莨芾砥教?楹湍谌莘衿髂??。
    2.2.1)内容管理平台??榘ㄒ韵氯霾糠郑?
    ●消息服务???,其用于多线程并发处理消息的接收、处理和反馈,具有消息线程数量及协议的动态配置与集群部署功能。
    由于分布式结构中,分散于各个地点的终端或者服务器会发送各种各样的消息,来对非结构化数据进行各种不同的实时操作,因此在 消息服务??橹行枰写罅康南⒋?。本发明的非结构化数据管理系统在apache mina基础上,使用java把消息处理??榭⒊赡艽泶罅坎⒎⒌膕ocket接口程序,控制消息流。MINA是一个网络应用程序框架,利用它可以容易地开发高性能和高伸缩性的网络应用程序。本发明的非结构化数据管理系统实现decode和encode方法,完成字节和消息POJO的相互转换,再为每个接口实现handler方法,调用非结构化数据管理API,以此来实现大量消息命令的接收、处理和反馈。另外,消息服务??榻玬ina和Spring框架结合,可以实现消息线程数量、协议安装的动态配置、集群部署等功能,从而实现非结构化数据消息服务易扩展松耦合特性。
    所述消息服务??槟芄痪伤銮岸丝丶?榛蛩鲂榉庾澳??,与所述外围系统的用户终端进行交互,用于所述非结构化数据的操作,还能经由联机Socket直接与所述外围系统的服务器终端进行交互,用于所述非结构化数据的操作。
    ●文件传输???,其用于内容传输,这里的内容包括非结构化数据文件内容,还包括各种元数据文件内容。该文件传输??橥ü鼵语言实现,其接收用户终端发出的指令消息,按照指令所示,进行文件内容的传输。与通用的FTP工具不同,所述文件传输??榫哂兄С侄系阈δ?,可以在网络情况不通畅导致传输中断后,记录文件传输偏移量标记,重新发起传输。另外,所述文件传输??榫哂卸嘟滩⒎⒌墓δ?,支持配置进程数量,可以并发传输多个文件。所述文件传输??榛咕哂胁问渲么涫莅笮」δ?,根据网络带宽的情况,改变传输数据包大小能增加传输的成功概率。例如在带宽紧张的情况下,可以通过减小传输数据包大小,提高单包发送成功概率,从而提高整个文件传输的成功概率。所述文件传输??槟芄痪伤銮岸丝丶?榛蛩鲂榉庾澳??,与所述外围系统的用户终端进行交互,用于所述非结构化数据的操作,还能经由联机Socket直接与所述外围系统的服务器终端进行交互,用于所述非结构化数据的操作。
    ●批处理???,其读取所述外围系统批量生成的内容文件和元数据文件,通过多线程轮询方式,将所述内容文件和元数据文件存储到数据库??橹?。所述批处理??橐蠓植际浇峁怪械母鞲鲆滴裣低嘲凑?批量接口来生成内容文件和元数据文件,它使用FTP工具将所述内容文件和元数据文件放置在指定目录下。它通过多线程轮询的方式,调用综合上传接口来实现将内容文件存储到数据库中的操作,在非结构化数据存储完毕后,生成结果文件。
    上述消息服务???、文件传输??楹团砟?槎际粲诒痉⒚鞣墙峁够莨芾硐低持械南低称教ú糠?,其用于接收外围系统中用户终端或服务器终端所发指令消息,在后台对非结构化数据进行上传、下载及管理操作。
    2.2.2)内容数据库???,其中包括多个内容库,用于存储影像内容数据,其中包括所述批处理??榇涞乃瞿谌菸募驮菸募?,并为所述消息服务??樘峁┠谌莶僮?。
    其中所述各个??橹涞慕涌诠娣兑约笆莨娣抖际窃は裙娑ê玫?,这样便于数据接口和规范的统一,便于系统新增业务的扩展,从而能够实现对非结构化数据的统一管理,建立了稳定有效的数据架构,保证了高可靠性和及时性。
    参见图3,表示根据本发明的另一个实施例的非结构化数据管理系统的结构框图。本实施例与图1所示实施例的非结构化数据管理系统的区别仅在于本实施例的非结构化数据管理系统还包括归档???,其他部分与图1所示的实施例相同,在此不再赘述。
    本实施例的归档??榻滴癜炖斫崾姆墙峁够萸ㄒ频嚼房庵泄┩馕低巢檠?,减轻对在线系统的压力。
    归档??榇铀鐾馕低郴裰滴褚寻炖斫崾姆墙峁够?,将非结构化数据从数据库??榍ㄒ浦晾房?,外围系统再经由前端控件???、消息服务??榉梦仕龉榈的??,从而可以实现对非结构化数据的全生命周期管理。
    本发明的非结构化数据管理系统可以应用到各个领域和行业,例如银行业务管理,大型连锁企业业务管理,电信资费收缴等等。由于使用了统一的接口和数据规范,大大减轻了分布式结构联机的负担,为数据处理加快了速度,提高了效率,统一了标准,同时也增强了数据处理的灵活性和扩展性。此外还可以实现对非结构化数据的全生命周期管理。
    显然,本领域技术人员应该明白,上述本申请技术放案中的各个??榭梢允褂猛ㄓ玫募扑阕爸美词迪?,它们可以集中在单个计算装置上,或者分布在多个计算装置所组成的网络上。
    以上所述仅为本申请的优选实施例而已,对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的发明精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本申请的?;し段е?。

    关于本文
    本文标题:非结构化数据管理系统.pdf
    链接地址://www.4mum.com.cn/p-6156926.html
    关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服 - 联系我们

    [email protected] 2017-2018 www.4mum.com.cn网站版权所有
    经营许可证编号:粤ICP备17046363号-1 
     


    收起
    展开
  • 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
  • 广西11选5彩票控 双色球17140期杀红球 七星彩历史记录611期 丰合棋牌app下载 九乐棋牌官网 分分彩下载 幸运赛车网站 快中彩开奖号码 北京赛车pk10开奖直播+视频 超级大乐透后区和值走势图 全天北京pk10计划表 欧乐棋牌游戏中心 澳洲幸运8开奖现场 新疆十一选五和值跨度速查表 广西11选5投注模拟 981捕鱼游戏官网