• 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
    • / 12
    • 下载费用:30 金币  

    重庆时时彩5星组选走势图: 一种支持海量数据导出的自动化工具.pdf

    关 键 词:
    一种 支持 海量 数据 导出 自动化 工具
      专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
    摘要
    申请专利号:

    CN201410051176.X

    申请日:

    2014.02.14

    公开号:

    CN103793519A

    公开日:

    2014.05.14

    当前法律状态:

    授权

    有效性:

    有权

    法律详情: 授权|||著录事项变更IPC(主分类):G06F 17/30变更事项:申请人变更前:浪潮通信信息系统有限公司变更后:浪潮天元通信信息系统有限公司变更事项:地址变更前:250101 山东省济南市高新区舜雅路1036号变更后:250100 山东省济南市高新区浪潮路1036号|||实质审查的生效 IPC(主分类):G06F 17/30申请日:20140214|||公开
    IPC分类号: G06F17/30 主分类号: G06F17/30
    申请人: 浪潮通信信息系统有限公司
    发明人: 邱建波
    地址: 250101 山东省济南市高新区舜雅路1036号
    优先权:
    专利代理机构: 代理人:
    PDF完整版下载: PDF下载
    法律状态
    申请(专利)号:

    CN201410051176.X

    授权公告号:

    |||||||||

    法律状态公告日:

    2018.04.06|||2018.03.27|||2015.11.04|||2014.05.14

    法律状态类型:

    授权|||著录事项变更|||实质审查的生效|||公开

    摘要

    本发明提供一种支持海量数据导出的自动化工具,通过它用户可方便的对个专业资源进行导出然后去现场核查。流程作为保证数据更新的手段,而导出工具则作为监督录入情况的有效手段。通过xml配置多线程导出xml数据,能让维护人员仅仅配置xml文件就可方便的对外提供数据,引入多线程则保证更有效的利用服务器资源,最快的导出数据。而对各个模型单独导出则满足了日常用户对数据的提取需求。海量数据导出工具给综合资源后台提供了一揽子解决方案。通过他可以让后台代码标准版化,维护工作流水化,降低了后台人员的工作量,减少维护人员数量,产生良好的客户感知。

    权利要求书

    权利要求书
    1.  一种支持海量数据导出的自动化工具, 其特征在于具体步骤如下:
    1)维护一个关联关系配置文件或配置导出模型相关的xml配置文件,xml配置文件包含相关数据的中英文字段以及翻译;
    2)每个配置文件在一个结构体里描叙对象模型自身和上下级的关系;
    3)根据传入的参数初始化系统描叙对象模型自身和上下级关系的方式包括:A站点关联导出;B对象模型分页导出;C导出xm配置数据,其中:
    A.顺序读取xml关系配置文件,对每个ConfigClass数据经过处理生成相应的导出sql语句和属性字段,根据配置判断是否插入下级关联关系;
    B.导出系统默认查询或者修改模版,动态生成导出sql语句;
    C.顺序读取xml对象模型配置文件,对每个ConfigClass数据经过处理生成相应的导出sql语句和属性字段;
    4)执行生成的sql语句;
    5)定义一个对象模型名称,表明数据来源,将导出的数据根据属性信息进行翻译生成相应的文件。

    2.  根据权利要求1所述的海量数据导出方法,其特征在于,关联关系配置是可扩展的,每个对象模型有多个上级或存在多个下级。

    3.  根据权利要求1所述的海量数据导出方法,其特征在于,默认查询或者模版是实时从数据库读取的,任何情况下导出都是最新的模版数据。

    4.  根据权利要求1所述的海量数据导出方法,其特征在于, xml导出配置是可多线程分页导出,能在短的时间内导出各个专业数据,特别是数据量特别大的表,可灵活定义线程数和页面大小。

    说明书

    说明书一种支持海量数据导出的自动化工具
    技术领域
    本发明涉及一种计算机应用技术领域, 具体地说是一种支持海量数据导出的自动化工具。
    背景技术
    在移动通信中,综合资源管理系统作为网管系统的基础数据来源,需要对各种系统做各种数据接口。并且为了保证数据的准确性,需要对入网和存量的数据进行流程管控。
    但是,随着管理的专业越来越多,数据越来越大,传统的对外数据提供和导出方式已经不适合目前的数据规模。
    传统的数据导出,效率比较低下,配置繁琐,没有引入多进程和自动化,人工配置和人肉操作过多,并且对新需求和维护需要投入大量的工作。
    在维护上,传统的代码都是面向过程的,代码可读性,可维护性,可复用性低下。现在通过对各种操作进行封装,使得代码清晰、简洁,可复用性、可读性、可维护性大幅提升。原来需要3个人做的维护,现在一个人就可以完成。
    发明内容
    本发明的目的是提供一种支持海量数据导出的自动化工具。
    本发明的目的是按以下方式实现的,通过perl,sh实现,使用perl面向对象编程对各种操作封装,通过读配置文件或者读系统对象模型属性表来获取相关表的字段和翻译信息。引入多线程和sql查询语句分页快速导出数据并进行翻译。并且生成各种特定的excel格式。
    本发明所要解决的问题是提供一种方法能最快的导出相关联的数据,并生成指定格式。因代码是通过面向对象编写,对常用操作都进行了封装,使得后续开发速度大幅提升,并且维护简单。
    本发明技术方案如下:
    1.1维护一个关联关系配置文件或配置导出模型相关的xml配置文件,包含相关数据的中英文字段;
    1.2每个配置文件一个结构体里描叙了对象模型自身和上下级的关系
    1.3根据传入的参数初始化系统导出方式包括:A站点关联导出;B对象模型分页导出;C导出xm配置数据;
    A顺序读取xml关系配置文件,对每个ConfigClass数据经过处理生成相应的导出sql语句和属性字段,根据配置判断是否插入下级关联关系;B导出系统默认查询或者修改模版,生成导出sql语句;C顺序读取xml对象模型配置文件,对每个ConfigClass数据经过处理生成相应的导出sql语句和属性字段;
    1.4执行生成的sql分页语句;
    1.5将导出的数据根据属性信息进行翻译生成相应的文件。
    步骤1.4中的sql分页语句和函数翻译是动态生成的。
    步骤1.4A中的关联关系配置是可扩展的,每个对象模型可以有多个上级,也可以存在多个下级;
    步骤1.4B中的默认查询或者模版是实时从数据库读获取,任何情况下导出都是最新模版数据;
    步骤1.4C中的xml导出配置是可多线程分页导出,能在短的时间内导出各个专业数据,特别是数据量特别大的表,效果显著,可灵活定义线程数和页面大小。
    在本发明中,定义一个对象模型名称,具有唯一性特征,说明数据的来源。 
    本发明的目的有益效果是:采用本发明所述方法,与现有技术相比,可以实现快速导出相关接口数据,并且快速导出关联数据或者单个数据。由于本发明采用了根据配置文件,多线程分页导出资源数据,分页依靠的是sql查询分页,翻译用的是系统配置生成的动态函数,也可人工编写函数翻译。与传统方式相比维护和执行效率上有大幅提升。但是对于大数据量的导出和翻译上面应该还有提升的空间。因为是多线程导出对系统的内存和数据库连接的使用较大。一般情况下开5-10个进程,每10万数据一个文件。
    附图说明
    图1是海量数据导出导出的各个??榈拇碇葱辛鞒毯痛砉掏?;
    图2是当模型增加修改和需求调整需要做的调整流程图;
    图3是站点导出配置表屏幕截图;
    图4是带链接excel统计表屏幕截图;
    图5是sql语句和中英字段屏幕截图;
    图6是导出结果屏幕截图;
    图7是多线程导出成标准的xml屏幕截图。
    具体实施方式
    分别对站点导出,xml配置导出,对象模型导出做相关配置介绍。
    A:站点导出配置情况如图3所示;
    对于站点导出的配置文件有如下相关属性
    #对象模型名称|分页字段|关连字段|关联字段ID|是否有下级资源|作为下级资源编号|关联字段类型|导出excel表头
     其中对象模型必须唯一
    分页字段          用于排序分页
    关联字段          和关联关系表关联的字段
    关联字段ID        关联检索的编号
    是否有下级资源    是否有其他的模型相关联
    作为下级资源编号  做为下级资源关联检索的编号
    关联字段类型      区分关联字段是数字还是名称
     导出excel表头     对数据文件排序的文件名前缀
    模型之间通过关联关系表动态导出,插入关联数据,可方便灵活的进行数据关联导出,极大的提高了检索速度。
    (如表4所示)生成带链接excel统计表格,让人一目了然的看出某个机房里的数据情况,点击数据就可以看到详情,方便,快捷。
    B:xml配置导出
         只需要维护导出配置的sql语句和中英字段,如图5所示,即可方便的对入网的数据进行一键导出,导出结果如图5所示:
    这样的方式效率快,一般情况下2分钟左右导出29中资源的相应数据,可方便的对入网流程数据录入情况进行核查。
    也可以多线程导出成标准的xml。如图7所示;
    C:对象模型分页导出
       只需要知道对象模型名称和相应的导出条件就可以方便的对资源数据进行模版导出,并且可选定字段分页。如果不选定字段系统默认每3万一页(可配置)。导出数据效果如图6所示。
    在下面的图1中介绍了海量数据导出导出工具各个??榈拇碇葱辛鞒毯痛砉?;
    图2中说明当模型增加修改和需求调整需要做的调整。
    除说明书所描述的技术特征外,均为本领域技术人员的公知技术。

    关于本文
    本文标题:一种支持海量数据导出的自动化工具.pdf
    链接地址://www.4mum.com.cn/p-6185487.html
    关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服 - 联系我们

    [email protected] 2017-2018 www.4mum.com.cn网站版权所有
    经营许可证编号:粤ICP备17046363号-1 
     


    收起
    展开
  • 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
  • 贵州茅台股票行情 2009年股票指数 上证指数2009年走势图 中长线股票推荐2014 10月14日上证指数 股票分析师骗局 股票分析师月薪多少钱 什么是股票涨跌幅 美国股票指数和股票有什么区别 股票配资论坛找象泰配资券商背景@G 腾讯股票代码 000019股票行情 黑马股票推荐软件 沪市股票指数 手机炒股流量 股票指数期货的特点