• 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
    • / 11
    • 下载费用:30 金币  

    重庆时时彩5星遗漏: 基于多态进程重组协处理矩阵的多个子任务云异步协同处理方法.pdf

    关 键 词:
    基于 进程 重组 处理 矩阵 个子 任务 异步 协同 方法
      专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
    摘要
    申请专利号:

    CN201010263559.5

    申请日:

    2010.08.26

    公开号:

    CN102156657A

    公开日:

    2011.08.17

    当前法律状态:

    撤回

    有效性:

    无权

    法律详情: 发明专利申请公布后的视为撤回IPC(主分类):G06F 9/46申请公布日:20110817|||公开
    IPC分类号: G06F9/46; G06F9/52 主分类号: G06F9/46
    申请人: 高瞻
    发明人: 高瞻; 孙希律
    地址: 214100 江苏省无锡市锡山经济开发区芙蓉中三路99号科技创业园
    优先权:
    专利代理机构: 代理人:
    PDF完整版下载: PDF下载
    法律状态
    申请(专利)号:

    CN201010263559.5

    授权公告号:

    |||

    法律状态公告日:

    2014.04.16|||2011.08.17

    法律状态类型:

    发明专利申请公布后的视为撤回|||公开

    摘要

    本发明公开了一种基于Worker-Reduce协处理矩阵的多个子任务云异步协同处理方法,包括多个事务处理云服务阵列,其特征是:还包括Worker-Reduce协处理矩阵容器,通过输入消息数据分析拆解处理层、Reduce算法处理第一层、Reduce算法处理第一层、Reduce算法处理第一层和输出消息数据还原处理层来对消息数据进行处理,以此通过对多任务的拆分合并来实现多个子任务云的异步协同处理,采用此种方法成本低,廉价高效,更适于推广。

    权利要求书

    1: 一种基于 Worker-Reduce 协处理矩阵的多个子任务云异步协同处理方法, 包括多个 事务处理云服务阵列, 其特征是 : 还包括 Worker-Reduce 协处理矩阵容器, 采用 Worker 映射 函数用来把一组键值对映射成一组新的键值对, 指定并发的 Reduce 化简函数来保证所有 映射的键值对中的每一个共享相同的键组, 通过输入消息数据分析拆解处理层、 Reduce 算 法处理第一层、 Reduce 算法处理第一层、 Reduce 算法处理第一层和输出消息数据还原处理 层来对消息数据进行处理, 其中 : (1)Map function : 对于每个文档, 用类似 SHA-1 等算法计算其内容的散列值 : 输入 : , 输出 : ; (2)Reduce function : 丢弃所有只有一个 value 的 key, 然后对每个 key 的文档列表进 行严格字符串比较, 实现局部的重复文档分类 : 输入 : , 输出 : list of[set of unique document IDs] ; 以此通过对多任务的拆分合并来实现多个子任务云的异步协同处理。
    2: 根据权利要求 1 所述的一种基于 Worker-Reduce 协处理矩阵的多个子任务云异步协 同处理方法, 其特征是 : 其步骤如下 : a、 系统首先将 Worker-Reduce 的输入集分成若干分区, 并且会在机群的计算机上启动 多个 Worker-Reduce 的副本 ; b、 这些 Worker-Reduce 进程的副本中由一个是特别的, 被称为 Master, 用于管理整个 Worker-Reduce 的执行过程, 其他的进程都是一样的用于实际工作的进程 ; c、 Master 进程会不停地选择空闲的 Worker 进程, 并将 Worker 的工作或者 Reduce 的 工作分配给它, 对于 Worker 工作的分配原则是, Worker 尽可能处理输入文件离自己最近的 工作 ; d、 每一个执行 Worker 工作的 Worker 都在输入集的每一个 (key, value) 上执行用户定 义的 Worker 函数, 并将执行结果存放在本地磁盘上, 对于结果的存放, 是根据用户定义的 分区函数 (partition function) 来存放的, 并将存放的位置信息传递个 Master ; e、 当所有的 Worker 工作都完成了之后, Master 开始向 Worker 分配 Reduce 工作, 并且 告诉 Worker 到哪里去找输入数据 ; f、 Worker 进程找到所有跟这次 Reduce 工作相关的数据, 并将这些数据按照 Key 进行 排序, 之后, 对于每一个 (key, [Value]) 来执行用户定义的 Reduce 函数, 并将结果写到输出 文件中 ; g、 当所有的 Reduce 工作结束后, Master 应该会完成一些收尾的工作, 例如结束每一个 Worker 进程等, 并将控制权交给应用程序, Worker-Reduce 操作返回。
    3: 根据权利要求 1 所述的基于 Worker-Reduce 协处理矩阵的多个子业务云异步协同处 理方法, 其特征是 : Map : 输入是 ( 应用程序名, 源文件和优化选项组合 ), 输出是 ( 应用程序名, 运行时间 和优化选项组合 )。
    4: 根据权利要求 1 所述的基于 Worker-Reduce 协处理矩阵的多个子业务云异步协同处 理方法, 其特征是 : 2 Reduce : 输入是 Map 的输出, 输出是 ( 应用程序名, 优化选项组合 )。

    说明书


    基于多态进程重组协处理矩阵的多个子任务云异步协同处 理方法

        技术领域 本发明涉及一种计算机数据处理方法, 特别是涉及一种协处理矩阵的多个子任务 云异步协同处理方法。
         背景技术 对于一个需要大量计算和存储 IO 的任务, 如何将任务拆解成多条子任务, 分别发 送到后端批量计算机中分别运行。 各机器运算完毕后, 把结果汇总上来, 再进行结果集的合 并和筛选, 最后得出计算准确结果。整个过程中, 需要解决如下几个技术点 :
         1、 任务拆分 ; 2、 子任务发送 ; 3、 子任务并发运行 ; 4、 子结果返回 ; 5、 子结果筛选 ; 6、 子结果合并 ; 7、 结果返回。
         现有的技术方案 :
         1、 计算机集群技术——这是一种将多台同构或异构的计算机连接起来协同完成 特定的任务就构成了集群系统, 能够显著地提高基于 TCP/IP 协议的多种网络服务质量的 高可用性集群系统, 通过将物理上分离的多个集群连接在一起使多个同构或异构的计算机 能够通过局域网或广域网共享计算资源, 并能够为用户提供对资源的透明访问。
         2、 高可用性集群——主要功能就是提供不间断的服务, 有许多应用程序都必须一 天二十四小时不停运转, 如所有的 web 服务器、 工业控制器、 ATM、 远程通讯连接器、 医学与 军事监测仪以及股票处理机等。对这些应用程序而言, 暂时的?;蓟岬贾率莸亩Ш?灾难性的后果。
         3、 高性能集群——通过将多台机器连接起来同时处理复杂的计算问题, 模拟星球 附近的磁场、 预测龙卷风的出现、 定位石油资源的储藏地等情况都需要对大量的数据进行 处理, 传统的处理方法是使用超级计算机来完成计算工作, 但是超级计算机的价格比较昂 贵, 而且可用性和可扩展性不够强, 因此集群成为了高性能计算领域瞩目的焦点。
         集群系统采用的操作系统主要有 VMS、 UNIX、 WindowsNT 和 Linux。
         现有技术集群的缺点 :
         1、 实施和配置的复杂性——建立集群框架、 管理主机间的连通性、 配置共享存储 都不是简单的任务, 可能涉及到组织内部多个团队, 在很大程度上, 都是技术性的工作, 随 着复杂度的增加, 可能会遗漏某些东西从而影响系统的稳定性。
         2、 更新和升级的不利因素——升级到更新版本的产品和硬件组件也可能引起困 难。因此, 虚拟主机集群连接多个系统, 各组件间发生着大量的、 复杂的交互。以更新主机 上的多路径 I/O(MPIO) 以驱动为例, 该操作会影响整个集群。首先, 它影响节点转移逻辑单 元号 (LUN) 到其他节点的效率。同时, 在更新 MPIO 驱动之前, 集群中所有主机的 HBA 卡的 Firmware 都需要升级。如果 FW 不用升级, 那也必须首先安装 HBA 卡的驱动。如果是单机, 这可以通过 1 ~ 2 次重启解决。在集群环境中, 协调多个虚拟主机服务器则较为困难。升 级实际的虚拟主机软件一定是一个具有挑战性的任务, 因为集群节点的交互以及不同软件
         版本支持 ( 比如 : SCVMM/Protection Manager 等 )。
         3、 集群成本因素——要实现一个虚拟主机集群环境, 需要复制部分基础架构并同 时保持虚拟机与主机的比例。 此外, 大部分厂商都需要一个 SAN 或者独立的磁盘子系统。 开 源 ISCSI 或者廉价的磁盘阵列可能是个精明的选择, 但这 些选项可能存在性能和稳定性 的问题。
         在重要的基础架构组件上选择廉价的路线会产生问题, 造成绊脚石。就因为选择 了一个特殊的配置能够工作并不意味着就满足了项目目标。如果管理部门对成本感到担 忧, 可以解释给他们虚拟主机集群环境可以提高正常运行时间、 提供更好的服务。
         4、 并不是所有业务都适合使用集群——要判断虚拟主机集群环境是否适合自己 业务系统模式, 虽然虚拟主机集群环境引入配置的复杂度、 升级问题和潜在的额外成本, 并 不是所有业务都适合使用集群。
         现有技术对以上整个流程处理过程耗时较长, 尤其对于一些比较复杂的事物逻 辑, 现在技术基本上都是在同一个云系统上处理, 占用和浪费了大量的系统资源, 导致目前 云集算整体规模庞大, 投资巨大, 无法应用于一些投入规模较小的行业, 从而使相关技术无 法广泛应用, 无法产生规?;б?。因此, 现有技术的缺点 : 成本高、 效率低且耗时间。
         本技术主要致力于提供一种廉价高效的方案, 实现复杂业务高效拆分处理, 从而 分解到不同的异步云计算系统上, 为云计算集成的方案推广提供了良好的技术前景。 发明内容 本 发 明 所 要 解 决 的 技 术 问 题 是, 提供一种廉价高效的基于多态进程重组 (Worker-Reduce) 协处理矩阵的多个子任务云异步协同处理方法。
         为了提升多核处理器上程序的运行速度, 出现了函数式编程的理论思想, 发展到 今, 已经比较成熟。它的原理是 : 在代码级别把运行任务和数据细分, 然后发送到各个 CPU 的流水线上运行, 最好合并成结果集。我们把这种思想从计算机系统架构的级别延伸到了 业务处理级别, 设计了 Worker-Reduce, 通过输 入消息数据分析拆解处理层、 Reduce 算法 处理第一层、 Reduce 算法处理第一层、 Reduce 算法处理第一层和输出消息数据还原处理层 来对消息数据进行处理。
         一: 本方案的结构说明 :
         1、 Worker :
         Worker( 映射 ) 函数, 用来把一组键值对映射成一组新的键值对, 指定并发的 Reduce( 化简 ) 函数, 用来保证所有映射的键值对中的每一个共享相同的键组。映射和化 简, 简单说来, 一个映射函数就是对一些独立元素组成的概念上的列表 ( 例如, 一个测试成 绩的列表 ) 的每一个元素进行指定的操作 ( 比如前面的例子里, 有人发现所有学生的成绩 都被高估了一分, 他可以定义一个 “减一” 的映射函数, 用来修正这个错误 )。事实上, 每个 元素都是被独立操作的, 而原始列表没有被更改, 因为这里创建了一个新的列表来保存新 的答案。这就是说, Worker 操作是可以高度并行的, 这对高性能要求的应用以及并行计算 领域的需求非常有用
         2、 Reduce :
         Reduce 操作指的是对一个列表的元素进行适当的合并 ( 继续看前面的例子, 如果
         有人想知道班级的平均分该怎么做?用户可以定义一个 Reduce 函数, 通过让列表中的元 素跟自己相邻的元素相加的方式把列表减半, 以此类推运算直到列表只剩下一个元素, 然 后用这个元素除以人数, 就得到了平均分。虽然不如映射函数那么并行, 但是因为 Reduce 总是有一个简单的答案, 大规模的运算相对独立, 所以 Reduce 函数在高度并行环境下也很 有分布和可靠性。
         二: Worker-Reduce 原理 :
         Worker-Reduce 这个算法能够在很多种计算中达到相当高的效率, 而且是可扩展 的 ( 也就是说, 一千台机器就算不能达到一千倍的效果, 至少也可以达到 几百倍的效果 )。 Worker-Reduce 的另外一大特色是它可以利用大批廉价的机器组成功能强大的 server farm。最后, 它的容错性能异常出色, 就算一个 server farm 宕掉一半, 整个 fram 依然能够 运行。正是因为这个天才的认识, 才有了 Worker and Reduce 算法。借助该算法, 几乎能无 限地增加计算量, 与日新月异的互联网应用一同成长。
         Worker-Reduce 通过把对数据集的大规模操作分发给网络上的每个节点实现可靠 性; 每个节点会周期性的把完成的工作和状态的更新报告回来。如果一个节点保持沉默超 过一个预设的时间间隔, 主节点记录下这个节点状态为死亡, 并把分配给这个节点的数据 发到别的节点。每个操作使用命名文件的原子操作以确保不会发生并行线程间的冲突 ; 当 文件被改名的时候, 系统可能会把他们复制到任务名以外的另一个名字上去。 其中 : 本 Worker-Reduce 采用 Map function 和 Reduce function 进行任务的拆分 和任务的合并。
         Map function : 对于每个文档, 用类似 SHA-1 等算法计算其内容的散列值。
         输入 :
         输出 :
         Reduce function : 丢弃所有只有一个 value 的 key, 然后对每个 key 的文档列表 进行严格字符串比较, 实现局部的重复文档分类。
         输入 :
         输出 : list of[set of unique document IDs]
         Map : 输入是 ( 应用程序名, 源文件和优化选项组合 ), 输出是 ( 应用程序名, 运行 时间和优化选项组合 )
         Reduce : 输入是 Map 的输出, 输出是 ( 应用程序名, 优化选项组合 )
         三: Worker-Reduce 的动作关系 :
         a、 系统首先将 Worker-Reduce 的输入集分成若干分区, 并且会在机群的计算机上 启动多个 Worker-Reduce 的副本 ;
         b、 这些 Worker-Reduce 进程的副本中由一个是特别的, 被称为 Master, 用于管理 整个 Worker-Reduce 的执行过程, 其他的进程都是一样的用于实际工作的进程 ;
         c、 Master 进程会不停地选择空闲的 Worker 进程, 并将 Worker 的工作或者 Reduce 的工作分配给它, 对于 Worker 工作的分配原则是, Worker 尽可能处理输入文件离自己最近 的工作 ;
         d、 每一个执行 Worker 工作的 Worker 都在输入集的每一个 (key, value) 上执行用 户定义的 Worker 函数, 并将执行结果存放在本地磁盘上, 对于结果的存放, 是根据用户定
         义的分区函数 (partition function) 来存放的, 并将存放的位置信息传递个 Master ;
         e、 当所有的 Worker 工作都完成了之后, Master 开始向 Worker 分配 Reduce 工作, 并且告诉 Worker 到哪里去找输入数据 ;
         f、 Worker 进程找到所有跟这次 Reduce 工作相关的数据, 并将这些数据按照 Key 进 行排序, 之后, 对于每一个 (key, [Value]) 来执行用户定义的 Reduce 函数, 并将结果写到输 出文件中 ;
         g、 当所有的 Reduce 工作结束后, Master 应该会完成一些收尾的工作, 例如结束每 一个 Worker 进程等, 并将控制权交给应用程序, Worker-Reduce 操作返回。
         本发明的有益效果 :
         1 这个模型实现方法非常方便适用, 即使是对于完全没有分布式程序的程序 员也 是如此 ;
         2 实施和配置的更加容易 ;
         3 成本大大降低, 不需要昂贵的存储设备 ;
         4 错误容灾、 本地优化以及负载均衡 ;
         5 开发人员使用自己熟悉的语言进行开发。 附图说明
         下面结合说明书附图对本发明做进一步详细的描述, 其中 : 图 1 为本发明的原理流程图一 ; 图 2 为本发明的原理流程图二 ; 图 3 为本发明的原理流程图三。具体实施方式
         如图 1、 图 2 和图 3 所示, 本 Worker-Reduce 采用 Map function 和 Reduce function 进行任务的拆分和任务的合并。
         Map function : 对于每个文档, 用类似 SHA-1 等算法计算其内容的散列值。
         输入 :
         输出 :
         Reduce function : 丢弃所有只有一个 value 的 key, 然后对每个 key 的文档列表 进行严格字符串比较, 实现局部的重复文档分类。
         输入 :
         输出 : list of[set of unique document IDs]
         Map : 输入是 ( 应用程序名, 源文件和优化选项组合 ), 输出是 ( 应用程序名, 运行 时间和优化选项组合 )。
         Reduce : 输入是 Map 的输出, 输出是 ( 应用程序名, 优化选项组合 )。
         本发明 Worker-Reduce 的动作关系 :
         a、 系统首先将 Worker-Reduce 的输入集分成若干分区, 并且会在机群的计算机上 启动多个 Worker-Reduce 的副本 ;
         b、 这些 Worker-Reduce 进程的副本中由一个是特别的, 被称为 Master, 用于管理整个 Worker-Reduce 的执行过程, 其他的进程都是一样的用于实际工作的进程 ;
         c、 Master 进程会不停地选择空闲的 Worker 进程, 并将 Worker 的工作或者 Reduce 的工作分配给它, 对于 Worker 工作的分配原则是, Worker 尽可能处理输入文件离自己最近 的工作 ;
         d、 每一个执行 Worker 工作的 Worker 都在输入集的每一个 (key, value) 上执行用 户定义的 Worker 函数, 并将执行结果存放在本地磁盘上, 对于结果的存放, 是根据用户定 义的分区函数 (partition function) 来存放的, 并将存放的位置信息传递个 Master ;
         e、 当所有的 Worker 工作都完成了之后, Master 开始向 Worker 分配 Reduce 工作, 并且告诉 Worker 到哪里去找输入数据 ;
         f、 Worker 进程找到所有跟这次 Reduce 工作相关的数据, 并将这些数据按照 Key 进 行排序, 之后, 对于每一个 (key, [Value]) 来执行用户定义的 Reduce 函数, 并将结果写到输 出文件中 ;
         g、 当所有的 Reduce 工作结束后, Master 应该会完成一些收尾的工作, 例如结束每 一个 Worker 进程等, 并将控制权交给应用程序, Worker-Reduce 操作返回。
         本发明的有益效果 : 1 这个模型实现方法非常方便适用, 即使是对于完全没有分布式程序的程序 员也 是如此 ;
         2 实施和配置的更加容易 ;
         3 成本大大降低, 不需要昂贵的存储设备 ;
         4 错误容灾、 本地优化以及负载均衡 ;
         5 开发人员使用自己熟悉的语言进行开发。
         必须指出, 上述实施例只是对本发明做出的一些非限定性举例说明。但本领域的 技术人员会理解, 在没有偏离本发明的宗旨和范围下, 可以对本发明做出修改、 替换和变 更, 这些修改、 替换和变更仍属本发明的?;し段?。
        

    关于本文
    本文标题:基于多态进程重组协处理矩阵的多个子任务云异步协同处理方法.pdf
    链接地址://www.4mum.com.cn/p-5867927.html
    关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服 - 联系我们

    [email protected] 2017-2018 www.4mum.com.cn网站版权所有
    经营许可证编号:粤ICP备17046363号-1 
     


    收起
    展开
  • 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
  • AG惊吓鬼屋开奖官网 拳击游戏 kk棋牌游戏中心 3d投注技巧与口诀 侏罗纪进化手机破解版 时时公式2018 剑灵pve赚钱吗 易发棋牌网址 吉林快3专家预测大小单双 pk10注册38 七星彩开奖视频播放今晚 地窖储藏蔬菜赚钱吗 牛牛赢现金50能提现 gta卖车赚钱cd 辽宁彩运11选5走势图 1分快三计划软件