• 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
    • / 8
    • 下载费用:30 金币  

    重庆时时彩老字号平台: 一种数据模型自动化评审系统.pdf

    关 键 词:
    一种 数据模型 自动化 评审 系统
      专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
    摘要
    申请专利号:

    CN201610670260.9

    申请日:

    2016.08.15

    公开号:

    CN106355303A

    公开日:

    2017.01.25

    当前法律状态:

    实审

    有效性:

    审中

    法律详情: 实质审查的生效IPC(主分类):G06Q 10/06申请日:20160815|||公开
    IPC分类号: G06Q10/06(2012.01)I; G06Q50/30(2012.01)I; G06F17/30 主分类号: G06Q10/06
    申请人: 上海新炬网络技术有限公司
    发明人: 程永新; 林小勇; 吴广
    地址: 201707 上海市青浦区外青松公路7548弄588号1幢1层Y区141室
    优先权:
    专利代理机构: 上??坡勺ɡ硎挛袼?特殊普通合伙) 31290 代理人: 袁亚军;金碎平
    PDF完整版下载: PDF下载
    法律状态
    申请(专利)号:

    CN201610670260.9

    授权公告号:

    |||

    法律状态公告日:

    2017.03.01|||2017.01.25

    法律状态类型:

    实质审查的生效|||公开

    摘要

    本发明公开了一种数据模型自动化评审系统,包括数据读取??椋号慷寥〗3Ъ姨峤坏氖菽P?,并将读取的数据放入数据库临时表中;预处理??椋憾允菘饬偈北碇械氖萁懈袷交斐4?,并对其中的建模SQL语句进行解析;校验??椋憾跃ご砗蟮氖?,每条数据按照预定规则进行校验,将校验结果写回每条记录结果字段,循环进行上述校验过程,直至本批次数据全部校验完毕;备案??椋憾杂谒惺荻夹Q槌晒Φ氖菽P徒屑锹?,形成建模存量库。本发明提供的数据模型自动化评审系统,使得模型审批能够自动化的进行,不需要完全依赖于管理人员的经验和水平,减少对建模厂家的进度耽误,同时减少人为的错误评审。

    权利要求书

    1.一种数据模型自动化评审系统,其特征在于,包括:
    数据读取??椋号慷寥〗3Ъ姨峤坏氖菽P?,并将读取的数据放入数据库临时
    表中;
    预处理??椋憾允菘饬偈北碇械氖萁懈袷交斐4?,并对其中的建模SQL语句
    进行解析;
    校验??椋憾跃ご砗蟮氖?,每条数据按照预定规则进行校验,将校验结果写回
    每条记录结果字段,循环进行上述校验过程,直至本批次数据全部校验完毕;
    备案??椋憾杂谒惺荻夹Q槌晒Φ氖菽P徒屑锹?,形成建模存量库。
    2.如权利要求1所述的数据模型自动化评审系统,其特征在于,所述建模厂家提交的数
    据模型采用EXCEL文件模板。
    3.如权利要求1所述的数据模型自动化评审系统,其特征在于,所述预处理??槎允?br />库临时表中的数据进行如下格式化异常处理:消除回车符和制表符,并统一中英文标点符
    号。
    4.如权利要求1所述的数据模型自动化评审系统,其特征在于,所述预处理??楦菡?br />则表达式对建模SQL语句进行模式匹配,解析获取该数据模型的名称,字段,字段类型以及
    备注信息。
    5.如权利要求1所述的数据模型自动化评审系统,其特征在于,所述校验??榘凑杖缦?br />预定规则对每条数据依次进行校验:必填性校验、规范性校验、存在性校验和资源性校验。
    6.如权利要求5所述的数据模型自动化评审系统,其特征在于,所述必填性校验包括对
    数据模型名称,开发商名,用途说明,保留时长,模型类别以及SQL解析后的字段进行必填校
    验。
    7.如权利要求5所述的数据模型自动化评审系统,其特征在于,所述规范性校验包括根
    据业务类型对业务事实表、业务中间表、配置表、日志表、临时表、视图分别进行统一命名,
    并限定各自的存放表空间。
    8.如权利要求5所述的数据模型自动化评审系统,其特征在于,所述存在性校验过程如
    下:对于已经存在的数据模型,通过对新提交的数据模型里的建模语句及用途说明与建模
    存量库中已经存在的模型进行比对;当发现相似的数据模型时,将该数据模型在校验信息
    中反馈给建模厂家。
    9.如权利要求5所述的数据模型自动化评审系统,其特征在于,所述资源性校验包括对
    解析后的建模SQL语句,识别出维度字段;根据维度字段,在建模存量库中匹配出相同或者
    相近的维度组合模型,统计该匹配模型的空间情况,并以该匹配模型空间作为新提交数据
    模型的预估空间;如果建模存量库中没有相近维度的模型,则按照开发商提交的字段“预计
    占用空间”作为该新提交数据模型的预估空间;统计该新提交数据模型存放的数据库当前
    剩余空间,将当前剩余空间与预估空间比对,如果预估空间与剩余空间之比达到预设阀值,
    则提示剩余空间不足的校验信息。

    说明书

    一种数据模型自动化评审系统

    技术领域

    本发明涉及一种数据模型评审系统,尤其涉及一种数据模型自动化评审系统。

    背景技术

    大数据技术现在被越来越多的行业所使用,典型的电信行业就是使用大数据的先
    驱者,电信系统最显著的一个特点就是数据量大,月存储PB数量级,随着集群的增大,越来
    越多样式的数据接入,数据以各种形式存放在集群里。数据的多样性,复杂性给管理带来很
    大的成本,且数据模型的管理基本上各厂家都有一套自己的规范,这也导致整个集群出现
    各种命名模式的模型,使得模型较为混乱,因此一些集群便出现了模型管理人员,但目前这
    些管理人员仍然用最原始的方法进行模型评审,即厂家开发人员提交模型过来,模型评审
    人员结合自己的业务理解和技术能力对所提交模型进行评审,整体流程如图1所示,包括如
    下阶段:

    1、提交阶段:建模厂家提交建立模型的SQL语句,各厂家按照自己的规范进行建
    模。

    2、评审阶段:模型评审人员收到建模厂家的建模语句后,结合自己以往的业务经
    验和技术能力,进行评估,目前主要是针对命名规范性进行校验。

    3、通知阶段:评审人员将校验结构反馈给建模厂家。

    对于电信系统业务等大型业务系统,一般具有特点:1、业务数据量大,数据样式
    多;2、建模时效性要求高;3、厂家众多,建模数量多。

    由上可见,现有的技术具有如下缺点:1、人工操作,容易产生错误;2、效率较为低
    下;3、对评审人员的业务知识,系统熟悉度要求较高。

    发明内容

    本发明所要解决的技术问题是提供一种数据模型自动化评审系统,使得模型审批
    能够自动化的进行,不需要完全依赖于管理人员的经验和水平,减少对建模厂家的进度耽
    误,同时减少人为的错误评审。

    本发明为解决上述技术问题而采用的技术方案是提供一种数据模型自动化评审
    系统,包括数据读取??椋号慷寥〗3Ъ姨峤坏氖菽P?,并将读取的数据放入数据库
    临时表中;预处理??椋憾允菘饬偈北碇械氖萁懈袷交斐4?,并对其中的建模
    SQL语句进行解析;校验??椋憾跃ご砗蟮氖?,每条数据按照预定规则进行校验,将
    校验结果写回每条记录结果字段,循环进行上述校验过程,直至本批次数据全部校验完毕;
    备案??椋憾杂谒惺荻夹Q槌晒Φ氖菽P徒屑锹?,形成建模存量库。

    上述的数据模型自动化评审系统,其中,所述建模厂家提交的数据模型采用EXCEL
    文件模板。

    上述的数据模型自动化评审系统,其中,所述预处理??槎允菘饬偈北碇械氖?br />据进行如下格式化异常处理:消除回车符和制表符,并统一中英文标点符号。

    上述的数据模型自动化评审系统,其中,所述预处理??楦菡虮泶锸蕉越?br />SQL语句进行模式匹配,解析获取该数据模型的名称,字段,字段类型以及备注信息。

    上述的数据模型自动化评审系统,其中,所述校验??榘凑杖缦略ざü嬖蚨悦刻?br />数据依次进行校验:必填性校验、规范性校验、存在性校验和资源性校验。

    上述的数据模型自动化评审系统,其中,所述必填性校验包括对数据模型名称,开
    发商名,用途说明,保留时长,模型类别以及SQL解析后的字段进行必填校验。

    上述的数据模型自动化评审系统,其中,所述规范性校验包括根据业务类型对业
    务事实表、业务中间表、配置表、日志表、临时表、视图分别进行统一命名,并限定各自的存
    放表空间。

    上述的数据模型自动化评审系统,其中,所述存在性校验过程如下:对于已经存在
    的数据模型,通过对新提交的数据模型里的建模语句及用途说明与建模存量库中已经存在
    的模型进行比对;当发现相似的数据模型时,将该数据模型在校验信息中反馈给建模厂家。

    上述的数据模型自动化评审系统,其中,所述资源性校验包括对解析后的建模SQL
    语句,识别出维度字段;根据维度字段,在建模存量库中匹配出相同或者相近的维度组合模
    型,统计该匹配模型的空间情况,并以该匹配模型空间作为新提交数据模型的预估空间;如
    果建模存量库中没有相近维度的模型,则按照开发商提交的字段“预计占用空间”作为该新
    提交数据模型的预估空间;统计该新提交数据模型存放的数据库当前剩余空间,将当前剩
    余空间与预估空间比对,如果预估空间与剩余空间之比达到预设阀值,则提示剩余空间不
    足的校验信息。

    本发明对比现有技术有如下的有益效果:本发明提供的数据模型自动化评审系
    统,通过设置预处理??楹托Q槟?槎耘慷寥〉慕3Ъ姨峤坏氖菽P徒写?,使
    得模型审批能够自动化的进行,不需要完全依赖于管理人员的经验和水平,减少对建模厂
    家的进度耽误,同时减少人为的错误评审。

    附图说明

    图1为现有数据模型评审流程示意图;

    图2为本发明数据模型自动化评审系统架构示意图;

    图3为本发明数据模型自动化评审流程示意图。

    具体实施方式

    下面结合附图和实施例对本发明作进一步的描述。

    图2为本发明数据模型自动化评审系统架构示意图。

    请参见图2,本发明提供的数据模型自动化评审系统,包括数据读取???、预处理
    ???、校验??楹捅赴改??;主要??楣δ苁迪秩缦拢?br />

    1、数据读取??椋菏侗鸾3Ъ姨峤坏腅XCEL的数据,进行批量读取,将读取的数
    据放入数据库临时表中;

    2、预处理??椋憾允菘饬偈北碇械氖萁性ご?,主要分为消除回车符,制表
    符,统一中英文标点符号;对模板中建模的SQL语句进行SQL解析(解析算法,主要依据正则
    表达式进行模式匹配),解析后能区分出该模型的名称,字段,字段类型,备注等信息;

    3、校验??椋壕ご砗蟮氖?,每条按照规范进行校验,校验顺序为“必填性
    校验->规范性校验->存在性校验->资源性校验”,将校验结果写回每条记录结果字段,并进
    行循环,直至本批次数据全部校验完毕。校验??楹诵拇砹鞒倘缦?。

    3.1、必填性校验

    模型名称,开发商名,用途说明,保留时长,模型类别等信息必须填写,对以上字段
    进行必填校验,其中模板上的必填字段,没有填写则提示必须填写,模型的备注,字段的备
    注,需要SQL解析,对解析后的字段也需要进行必填校验;

    3.2、规范性校验

    模型命名规范,按照约定,制定规范性说明,例如“类别_厂家简称_业务(配置)”

    对于业务事实表,统一以“F_”开头

    对于业务中间表,统一以“I_”开头

    对于配置表,统一以“CFG_”开头

    对于日志表,统一以“LOG_”开头

    对于临时表,统一以“TMP_”开头

    对于视图,统一以“V_”开头

    统一各厂家的英文简称,约定业务类型的英文名称;对于传统的关系型数据库,模
    型存放表空间必须存放各自的表空间,不允许使用他人表空间;对于大数据如hadoop的模
    型(HIVE里的模型或者其他HDFS),必须存放各自的目录,不允许使用他人目录或者公共目
    录;对违反以上规范的模型,提示相关的不规范说明已提示建模厂商修正。

    3.3、存在性校验

    对于已经存在的模型,通过对模板里的建模语句及用途说明进行与建模存量库中
    已经存在的模型进行比对(首次运行,不需要比对);当发现相似的模型时,将该模型在校验
    信息中反馈给建模厂家。

    3.4、资源性校验

    对解析后的SQL语句,识别出维度字段,根据维度字段,在存量库中匹配出相同或
    者相近的维度组合模型,统计该模型的空间情况,优先以该模型空间作为模板模型预估空
    间。如果存量库中没有相近维度的模型,则按照开发商提交的字段“预计占用空间”为该模
    板模型预估空间。统计该模型存放的数据库当前剩余空间,将该空间与预估空间比对,如果
    预估空间大于或等于剩余空间80%,则提示校验信息“剩余空间为XX,【模型名称】空间过
    大,需减少保存时长”。

    4、备案??椋憾杂谕ü行Q?,及校验成功的模型,进行记录,形成存量库。

    本发明能够对建模厂家提交的excel附件中一些特殊字符进行处理,使得代码能
    够识别有效数据。接着对建模SQL进行SQL解析,自动拆分出关键字段,并根据拆分后的信息
    做后期的必填性,规范性,存在性,资源性校验。校验??槁呒枨窒群?,只有先通过必填
    性校验,才能进行规范性校验,继而对存在性校验,最后资源性校验,按照上述顺序则可进
    一步提高校验效果。

    本发明制定了一套机制有效地快速进行模型评审,通过制定的模型建模规范模
    板,收集厂家的建模信息,结合后台的规范化验证建模程序;通过后台的校验程序来实现自
    动化评审。在前期准备阶段,需要调研系统业务数据特性,与各建模厂商达成一致,形成一
    套统一的命名规范,制定统一的建模模板,模型管理人员根据此规范模板,进行编程,由程
    序实现校验逻辑。在提交阶段,则建模厂家按照模板进行提交,程序读取数据,并自动化进
    行评审,按照规则输出校验信息给建模厂商,厂商根据校验信息就行模型修正并再次提交
    评审,程序对校验成功的模型进行记录,形成存量库,如图3所示。具体优点如下:1、脚本化
    自动校验,减少了人为的失误而造成的错误,提高了模型评审的准确率,同时自动化大大提
    升了评审的效率,原来1个模型/5分钟的人工评审,利用本发明,可以1秒完成。2、模型评审
    由脚本完成,相比传统的人工(靠经验)评审,脚本评审可以不断去完善,考虑方面多样化,
    评审方式更加全面。

    虽然本发明已以较佳实施例揭示如上,然其并非用以限定本发明,任何本领域技
    术人员,在不脱离本发明的精神和范围内,当可作些许的修改和完善,因此本发明的?;し?br />围当以权利要求书所界定的为准。

    关于本文
    本文标题:一种数据模型自动化评审系统.pdf
    链接地址://www.4mum.com.cn/p-6027204.html
    关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服 - 联系我们

    [email protected] 2017-2018 www.4mum.com.cn网站版权所有
    经营许可证编号:粤ICP备17046363号-1 
     


    收起
    展开
  • 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
  • 北京pk十开奖历史记录 狐仙时时计划软件免费版 四川时时开奖视频 网上刮刮彩 11选5直选二稳赚技巧 黑彩赚钱 必赢客吉林快三手机版 大乐透2019春节停售时间 飞艇冠军二期四码计划软件 北京pk10前五1码计划 11选5万能九码共多少组 5分北京pk计划软件 北京pk10稳赚打法 p62最新开奖结果查询 上海时时开奖走势 足彩上下单双玩法