• 浪潮孙丕恕从信息时代到智能时代 人工智能价值将爆发式释放 2019-12-21
  • 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
    • / 14
    • 下载费用:30 金币  

    重庆时时彩开奖图在哪: 一种ETL流程执行系统及方法.pdf

    关 键 词:
    一种 ETL 流程 执行 系统 方法
      专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
    摘要
    申请专利号:

    CN201210579591.3

    申请日:

    2012.12.27

    公开号:

    CN103902583A

    公开日:

    2014.07.02

    当前法律状态:

    授权

    有效性:

    有权

    法律详情: 授权|||实质审查的生效 IPC(主分类):G06F 17/30申请日:20121227|||公开
    IPC分类号: G06F17/30 主分类号: G06F17/30
    申请人: 方正国际软件(北京)有限公司
    发明人: 周大良; 李欣; 王生; 李强; 曹五丰
    地址: 100080 北京市海淀区北四环西路52号方正国际大厦5层
    优先权:
    专利代理机构: 北京天悦专利代理事务所(普通合伙) 11311 代理人: 田明;文永明
    PDF完整版下载: PDF下载
    法律状态
    申请(专利)号:

    CN201210579591.3

    授权公告号:

    ||||||

    法律状态公告日:

    2019.03.12|||2015.11.04|||2014.07.02

    法律状态类型:

    授权|||实质审查的生效|||公开

    摘要

    本发明公开了一种ETL流程执行系统及方法,属于数据处理技术领域。本发明首先启动ETL流程;然后选择待执行的数据容器装置;所述数据容器装置依次读取第三方应用提供的数据源参数文件中的数据源参数,提供给ETL流程执行装置;ETL流程执行装置根据数据源参数确定数据源所在位置,打开数据源,执行ETL流程,直到所有数据源被执行完毕。本发明通过增加数据容器装置,实现了在运行时刻决定数据源位置的功能,使ETL流程执行系统不再局限于针对固定数据源的处理,灵活性大大提升,并且提供了动态批量数据处理的能力。

    权利要求书

    权利要求书
    1.  一种ETL流程执行系统,包括ETL流程执行装置(1),其特征在于:所述系统还包括若干用于向ETL流程执行装置(1)提供待处理数据源参数和目标数据源参数,根据所述数据源参数和目标数据源参数能够确定待处理数据源所在位置及目标数据源所在位置的数据容器装置(2)。

    2.  如权利要求1所述的ETL流程执行系统,其特征在于:所述系统还包括用于显示所述系统中所有数据容器装置的显示装置(3);用于为ETL流程执行装置(1)选择数据容器装置(3)的选择装置(4)。

    3.  如权利要求1所述的ETL流程执行系统,其特征在于,所述数据容器装置(2)包括以下单元:
    第一信息提供单元(21),用于向所述显示装置(3)提供该数据容器装置的基本信息;
    启动数据源枚举单元(22),用于不断调用获取数据源参数单元(23)获取数据源参数;
    获取数据源参数单元(23),用于获取下一个待打开的数据源参数,如果获取成功,则返回TRUE;否则,返回FALSE;
    获取对应目标数据源参数单元(24),用于获取下一个待打开的目标数据源参数,如果获取成功,则返回TRUE;否则,返回FALSE;
    结束数据源枚举单元(25):用于结束启动数据源枚举单元(22)枚举过程,将枚举过程中分配的相关资源进行释放。

    4.  如权利要求1~3中任一项所述的ETL流程执行系统,其特征在于:所述系统还包括若干用于监控ETL流程执行装置(1)的启动事件,当出现启动事件时以消息的方式通知ETL流程执行装置(1)启动的执行策略装置(5)。

    5.  如权利要求4所述的ETL流程执行系统,其特征在于:所述显示装 置(3)还用于显示系统中所有执行策略装置(5);所述选择装置(4)还用于选择执行策略装置(5)。

    6.  如权利要求4所述的ETL流程执行系统,其特征在于:所述ETL流程执行装置(1)包括用于接收执行策略装置(5)发送的通知消息的窗口单元(11)。

    7.  如权利要求4所述的ETL流程执行系统,其特征在于:所述执行策略装置(5)包括以下单元:
    第二信息提供单元(51),用于向显示装置(3)提供该执行策略装置(2)的基本信息;
    初始化单元(52),用于确定ETL流程执行装置(1)接收消息通知的窗口句柄,记录该值,当发现需要触发ETL流程时,向该窗口发送一个通知消息;同时用于确定ETL流程执行装置(1)接收的消息ID,记录该值,当需要触发ETL流程时,向ETL窗口发送ID等于此值的一个通知消息;
    监控单元(53),用于按照设定要求监控状态,确定何时启动ETL流程,当状态满足条件时,通知ETL流程执行装置(1)启动流程;
    ETL流程执行结束通知单元(54),用于在ETL流程执行结束后,通知ETL流程执行装置(1)执行完成;
    释放单元(55),用于通知监控单元(53)结束监控。

    8.  一种ETL流程执行方法,其特征在于,包括以下步骤:
    启动ETL流程;
    选择待执行的数据容器装置;
    所述数据容器装置依次读取第三方应用提供的数据源参数文件中的数据源参数,提供给ETL流程执行装置;
    ETL流程执行装置根据数据源参数确定数据源所在位置,打开数据源,执行ETL流程,将流程执行结果写入目标数据源中,直到所有数据源被执行完毕。

    9.  如权利要求8所述的ETL流程执行方法,其特征在于:所述方法还包括监控ETL流程启动事件,当出现ETL流程启动事件时,向ETL流程发送通知消息,启动ETL流程的步骤。

    10.  如权利要求9所述的ETL流程执行方法,其特征在于,所述监控ETL流程启动事件的方法为:实时监控共享文件夹中的文件变化,所述共享文件夹中的文件由第三方应用不定期更新;将所述共享文件夹中的文件变化作为ETL流程启动的事件。

    说明书

    说明书一种ETL流程执行系统及方法
    技术领域
    本发明属于数据处理技术领域,具体涉及一种ETL流程执行系统及方法,尤其适用于数据挖掘领域中。
    背景技术
    ETL(Extraction-Transformation-Loading,数据提取、转换和加载)负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成,最后加载到数据仓库或数据集市中,成为联机分析处理、数据挖掘的基础。ETL抽取、处理、加载数据的过程通常由专门的ETL软件来完成。ETL软件通常提供若干种数据源对象,以支持不同种类的数据源格式,并提供若干种不同类型的数据处理单元,利用这些数据处理单元的任意组合,满足用户对数据的各种转换、处理需求。因此,利用ETL软件可以比较灵活的实现数据的各种格式转换及数据处理任务,例如增减字段、计算字段数值、联合表、记录过滤等。
    但是在实际项目应用中,仅依靠数据处理单元的任意组合来满足项目的各种数据处理需求,但仍存在一定局限性。其表现在以下几个方面:
    (1)要处理的数据来源灵活,并非事先固定,很可能由实时确定的外界条件来确定数据源的位置及具体格式;
    (2)要执行ETL过程的条件不固定,其同样可能是动态确定的。
    传统的ETL软件,其通常提供以下对象实现数据的ETL过程:
    数据源对象:ETL软件对于每一种支持的数据格式,均实现一个数据源对象,该对象负责将数据以记录的方式从原始数据格式中读取出来,并转化为统一的数据模型提供给数据处理单元。如果支持对该格式的生成功能,数据源对象还负责将数据处理单元产生的记录按照要求的格式写入到目标数据源中。
    数据处理单元(处理器):ETL软件对于每一种数据处理功能,均提供 一个数据处理单元实现该功能。数据处理单元负责接收数据源或者另一个数据处理单元输出的记录,对其进行变换处理,然后再将处理结果以记录的形式输出出来。
    ETL的数据处理单元是可以任意组合并不断扩充的,即前一个处理单元输出的记录可以作为后一个处理单元的输入记录,因此ETL软件在数据处理方面具有较大的灵活性。
    ETL软件的这种实现方式,可以满足一般的数据处理需求,但是当其以一个工具形式应用在实际项目中时,则存在一定局限性,限制了ETL软件的应用范围。其满足不了数据处理的如下需求:
    (1)动态确定的数据源:当数据源不是事先固定,而是动态确定的。例如,在实际应用环境下,可能需要通过读取动态生成的配置文件确定数据源的位置。
    (2)动态确定的执行时间点:此时ETL数据处理不是由手动触发,也不是在固定的时间点触发,而是由外部条件动态确定。例如,在实际应用环境下,可能需要通过判断一个共享文件夹中数据的修改时间变化,确定ETL过程的启动。
    此外,以上这种动态确定的具体规则又是灵活多样的,在具体的数据处理需求中很难以一套固定化的模式实现,因此一个传统的ETL工具并不适用于以上的数据处理情景。
    发明内容
    针对现有技术中存在的缺陷,本发明所要解决的技术问题是提供一种能够动态确定数据源的ETL流程执行系统及方法。
    为解决上述技术问题,本发明采用的技术方案如下:
    一种ETL流程执行系统,包括ETL流程执行装置;若干用于向ETL流程执行装置提供待处理数据源参数和目标数据源参数,根据所述数据源参数和目标数据源参数能够确定待处理数据源所在位置及目标数据源所在位置的数据容器装置。
    如上所述的ETL流程执行系统,还包括用于显示所述系统中所有数据容器装置的显示装置;用于为ETL流程执行装置选择数据容器装置的选择装置。
    如上所述的ETL流程执行系统,其中,数据容器装置包括以下单元:
    第一信息提供单元,用于向所述显示装置提供该数据容器装置的基本信息;
    启动数据源枚举单元,用于不断调用获取数据源参数单元获取数据源参数;
    获取数据源参数单元,用于获取下一个待打开的数据源参数,如果获取成功,则返回TRUE;否则,返回FALSE;
    获取对应目标数据源参数单元,用于获取下一个待打开的目标数据源参数,如果获取成功,则返回TRUE;否则,返回FALSE;
    结束数据源枚举单元:用于结束启动数据源枚举单元枚举过程,将枚举过程中分配的相关资源进行释放。
    如上所述的ETL流程执行系统,还包括若干用于监控ETL流程执行装置的启动事件,当出现启动事件时以消息的方式通知ETL流程执行装置启动的执行策略装置;所述显示装置还用于显示系统中所有执行策略装置;所述选择装置还用于选择执行策略装置。
    如上所述的ETL流程执行系统,其中,ETL流程执行装置还包括用于接收执行策略装置发送的通知消息的窗口单元。
    如上所述的ETL流程执行系统,其中,执行策略装置包括以下单元:
    第二信息提供单元,用于向显示装置提供该执行策略装置的基本信息;
    初始化单元:用于确定ETL流程执行装置接收消息通知的窗口句柄,记录该值,当发现需要触发ETL流程时,向该窗口发送一个通知消息;同时用于确定ETL流程执行装置接收的消息ID,记录该值,当需要触发ETL流程时,向ETL窗口发送ID等于此值的一个通知消息;
    监控单元,用于按照设定要求监控状态,确定何时启动ETL流程,当状态满足条件时,通知ETL流程执行装置启动流程;
    ETL流程执行结束通知单元:用于在ETL流程执行结束后,通知ETL流程执行装置执行完成;
    释放单元:用于通知监控单元结束监控。
    一种ETL流程执行方法,包括以下步骤:
    启动ETL流程;
    选择待执行的数据容器装置;
    所述数据容器装置依次读取第三方应用提供的数据源参数文件中的数据源参数,提供给ETL流程执行装置;
    ETL流程执行装置根据数据源参数确定数据源所在位置,打开数据源,执行ETL流程,将流程执行结果写入目标数据源中,直到所有数据源被执行完毕。
    如上所述的ETL流程执行方法,还包括监控ETL流程启动事件,当出现ETL流程启动事件时,向ETL流程发送通知消息,启动ETL流程的步骤。
    如上所述的ETL流程执行方法,其中,监控ETL流程启动事件的方法为:实时监控共享文件夹中的文件变化,所述共享文件夹中的文件由第三方应用不定期更新;将所述共享文件夹中的文件变化作为ETL流程启动的事件。
    本发明所述系统及方法,具有如下优点:
    (1)通过增加数据容器装置(插件),实现了在运行时刻决定数据源位置的功能,使ETL流程执行系统不再局限于针对固定数据源的处理,灵活性大大提升,并且提供了动态批量数据处理的能力。
    (2)通过增加执行策略装置,使ETL流程运行时间点可以根据现场要求灵活确定,大大增加了ETL流程执行系统的适用范围。
    附图说明
    图1是具体实施方式中ETL流程执行系统的结构框图;
    图2是具体实施方式中数据容器装置的结构框图;
    图3是具体实施方式中执行策略装置的结构框图;
    图4是具体实施方式中ETL流程执行方法的流程图;
    图5是具体实施方式中获取数据源参数方法的流程图;
    图6是具体实施方式中ETL流程执行装置执行过程的流程图;
    图7是具体实施方式中监控ETL流程启动事件方法的流程图。
    具体实施方式
    下面结合附图对本发明的具体实施方式进行详细描述。
    如图1所示,本实施方式中ETL流程执行系统包括ETL流程执行装置1、数据容器装置2、显示装置3、选择装置4和执行策略装置5。ETL流程执行装置1包括窗口单元11。
    ETL流程执行装置1用于执行ETL流程。数据容器装置2用于向ETL流程执行装置1提供待处理数据源参数,根据所述数据源参数能够确定待处理数据源所在位置。显示装置3用于显示系统中所有数据容器装置2和执行策略装置5的基本信息,包括名称、功能信息等。选择装置4用于为ETL流程执行装置1选择数据容器装置2和执行策略装置5。执行策略装置5用于监控ETL流程执行装置1的启动事件,以消息的方式通知ETL流程执行装置1启动。窗口单元12用于接收执行策略装置5发送的通知消息。
    如图2所示,数据容器装置2包括第一信息提供单元21、启动数据源枚举单元22、获取数据源参数单元23、获取对应目标数据源参数单元24和结束数据源枚举单元25。
    第一信息提供单元21用于向所述显示装置3提供该数据容器装置2的基本信息。启动数据源枚举单元22用于初始化数据源枚举过程,不断调用获取数据源参数单元23获取数据源参数?;袢∈菰床问ピ?3用于获取下一个待打开的数据源参数,如果获取成功,则返回TRUE;否则,返回FALSE?;袢《杂δ勘晔菰床问ピ?4用于获取下一个待打开的目标数据源参数, 如果获取成功,则返回TRUE;否则,返回FALSE。结束数据源枚举单元25用于结束启动数据源枚举单元22枚举过程,将枚举过程中分配的相关资源进行释放。
    如图3所示,执行策略装置5包括第二信息提供单元51、初始化单元51、监控单元52、ETL流程执行结束通知单元53和释放单元54。
    第二信息提供单元51用于向显示装置3提供该执行策略装置2的基本信息。初始化单元52用于确定ETL流程执行装置1接收消息通知的窗口句柄,记录该值,当发现需要触发ETL流程时,向该窗口发送一个通知消息;同时,用于确定ETL流程执行装置1接收的消息ID,记录该值,当需要触发ETL流程时,向ETL窗口发送ID等于此值的一个通知消息。监控单元53用于按照设定要求监控状态,确定何时启动ETL流程,当状态满足条件时,通知ETL流程执行装置1启动流程。ETL流程执行结束通知单元54用于在ETL流程执行结束后,通知ETL流程执行装置1执行完成。释放单元55用于通知监控单元52结束监控。
    如图4所示,采用上述系统执行ETL流程的方法包括以下步骤:
    (1)ETL流程执行装置1启动ETL流程。
    (2)选择装置4根据显示装置3显示的所有数据容器装置的功能信息,选择待执行的数据容器装置2。所述数据容器装置2的功能信息由第一信息提供单元21提供。
    (3)数据容器装置2依次读取第三方应用提供的数据源参数文件中的数据源参数,提供给ETL流程执行装置1,如图5所示。所述数据源参数文件中包括若干个数据源参数。
    (4)ETL流程执行装置1根据数据源参数确定数据源所在位置,打开数据源,执行ETL流程,直到所有数据源被执行完毕。
    如图6所示,本实施方式中ETL流程执行方法还包括监控ETL流程启动事件,当出现ETL流程启动事件时,向ETL流程发送通知消息,启动ETL流程的步骤。具体的ETL执行方法包括以下步骤:
    ①选择装置4根据显示装置3显示的执行策略装置5和数据容器装置2的功能信息,为ETL流程执行装置1选择执行策略装置5和数据容器装置2。执行策略装置5的功能信息由第二信息提供单元51提供。
    ②初始化执行策略装置5和数据容器装置2。
    ③监控单元52检测ETL流程启动消息,当窗口单元11接收到ETL流程启动消息后,启动ETL流程。
    如图7所示,监控ETL流程启动事件的方法为:实时监控共享文件夹中的文件变化,所述共享文件夹中的文件由第三方应用不定期更新;将所述共享文件夹中的文件变化作为ETL流程启动的事件。
    ④ETL流程执行装置1从数据容器装置2中获取数据源参数。
    启动数据源枚举单元22不断调用获取数据源参数单元23,获取数据源参数,提供给ETL流程执行装置1。
    ⑤打开数据源,读取记录并处理,将处理结果写入目标数据源中。
    目标数据源参数由获取对应目标数据参数单元24获取,ETL流程执行装置1根据目标数据源参数获取目标数据源,将处理结果写入目标数据源中。
    ⑥获取下一个数据源参数,如果获取成功,转至步骤④;如果获取失败,则进入下一步。
    ⑦判断是否结束监控。如果ETL流程执行结束通知单元54通知结束监控,则结束数据源枚举单元25结束枚举过程,释放单元55释放资源后结束;否则,则转至步骤③。
    本发明在具体实现时,数据容器装置2和执行策略装置5可以制作成插件,作为ETL流程执行系统的组成部分。数据容器装置2和执行策略装置5包括的各单元可以制作成接口。
    显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其同等技术的范围之内,则本发明也意图包含这些改动和变型在内?!  ∧谌堇醋宰ɡ鴚ww.www.4mum.com.cn转载请标明出处

    关于本文
    本文标题:一种ETL流程执行系统及方法.pdf
    链接地址://www.4mum.com.cn/p-6120478.html
    关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服 - 联系我们

    [email protected] 2017-2018 www.4mum.com.cn网站版权所有
    经营许可证编号:粤ICP备17046363号-1 
     


    收起
    展开
  • 浪潮孙丕恕从信息时代到智能时代 人工智能价值将爆发式释放 2019-12-21
  • 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 4场进球彩最新开奖 微乐江西 865棋牌游戏网站 2017145期七星彩规律 北单比分3串一奖金怎么算 赖子山庄官网网址 qq麻将游戏规则 体彩e球彩进球数规则 吉林11选50 福彩快3玩法中多少钱 北京快3近5○0期走势图 葛洲坝股票分析 四川金7乐走势图012路 6场半全场11087 大丰娱乐游戏 六肖中特赔多少倍