• 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
    • / 13
    • 下载费用:30 金币  

    重庆时时彩定胆杀码霸主: 基于协处理器的作业调度处理方法及装置.pdf

    摘要
    申请专利号:

    重庆时时彩单双窍门 www.4mum.com.cn CN201410015495.5

    申请日:

    2014.01.14

    公开号:

    CN104778080A

    公开日:

    2015.07.15

    当前法律状态:

    实审

    有效性:

    审中

    法律详情: 实质审查的生效IPC(主分类):G06F 9/48申请日:20140114|||公开
    IPC分类号: G06F9/48; G06F9/50 主分类号: G06F9/48
    申请人: 中兴通讯股份有限公司
    发明人: 张绍满; 秦春华; 刘忱; 郭树波
    地址: 518057广东省深圳市南山区科技南路55号
    优先权:
    专利代理机构: 北京康信知识产权代理有限责任公司11240 代理人: 余刚; 梁丽超
    PDF完整版下载: PDF下载
    法律状态
    申请(专利)号:

    CN201410015495.5

    授权公告号:

    |||

    法律状态公告日:

    2016.07.20|||2015.07.15

    法律状态类型:

    实质审查的生效|||公开

    摘要

    本发明提供了一种基于协处理器的作业调度处理方法及装置,其中,该方法包括:获取待调度作业所请求的资源类型以及各个节点的负载信息,其中所述资源类型包括协处理器资源和CPU资源;根据所述资源类型和所述负载信息选择执行所述待调度作业的节点。采用本发明提供的上述技术方案,解决了相关技术中,尚无有效的技术方案实现集群和协处理器相结合的调度方法。通过支持协处理器的基于预约策略和负载均衡的集群调度,来达到最大的任务并行效率。

    权利要求书

    权利要求书
    1.  一种基于协处理器的作业调度处理方法,其特征在于,包括:
    获取待调度作业所请求的资源类型以及各个节点的负载信息,其中所述资源类型包 括协处理器资源和CPU资源;
    根据所述资源类型和所述负载信息选择执行所述待调度作业的节点。

    2.  根据权利要求1所述的方法,其特征在于,获取待调度作业所请求的资源类型以及各个 节点的负载信息之前,包括:
    根据各个作业的优先级确定所述待调度作业。

    3.  根据权利要求2所述的方法,其特征在于,根据各个作业的优先级确定所述待调度作业, 包括:
    利用所述作业的初始优先级和等待时间进行加权计算得到所述作业的当前优先级;
    在所述当前优先级大于第一预设阈值时,为所述当前优先级对应的作业预约执行所 述当前优先级对应的作业所需要的资源;
    将所述当前优先级对应的作业设置为所述待调度作业。

    4.  根据权利要求1所述的方法,其特征在于,根据所述资源类型和所述负载信息选择执行所 述待调度作业的节点,包括:
    当获取的所述资源类型为CPU资源时,比较所述资源类型所对应的请求资源和根据 所述负载信息确定的剩余CPU资源,在所述剩余节点资源满足所述待调度作业所请求的 资源时,从所述剩余CPU资源所对应的节点中选择执行所述待调度作业的节点。

    5.  根据权利要求4所述的方法,其特征在于,还包括:
    在所述剩余CPU资源不满足所述待调度作业所请求的资源时,比较所述待调度作业 所请求的资源和协处理器资源,在所述剩余协处理器资源满足所述待调度作业所请求的 资源时,从所述剩余协处理器资源所对应的节点中选择执行所述待调度作业的节点。

    6.  根据权利要求1所述的方法,其特征在于,根据所述资源类型和所述负载信息选择执行所 述待调度作业的节点,包括:
    当获取的所述资源类型为协处理器资源时,比较所述资源类型所对应的请求资源和 根据所述负载信息确定的剩余协处理器资源,在所述剩余协处理器资源满足所述待调度 作业所请求的资源时,从所述剩余协处理器资源所对应的节点中选择执行所述待调度作 业的节点。

    7.  根据权利要求6所述的方法,其特征在于,还包括:
    在所述剩余协处理器资源不满足所述待调度作业所请求的资源时,比较所述待调度 作业所请求的资源和剩余CPU资源,在所述剩余CPU资源满足所述待调度作业所请求的 资源时,从所述剩余CPU资源所对应的节点中选择执行所述待调度作业的节点。

    8.  根据权利要求1所述的方法,其特征在于,根据所述资源类型和所述负载信息选择执行所 述待调度作业的节点之前,还包括:
    获取所述协处理器资源和CPU资源的指定性能指标,其中,在所述指定性能指标未 超过第二预设阈值时,从所述协处理器资源所对应的节点或CPU资源所对应的节点中选 择执行所述待调度作业的节点。

    9.  根据权利要求1所述的方法,其特征在于,根据所述资源类型和所述负载信息选择执行所 述待调度作业的节点之前,还包括:
    获取所述协处理器资源和CPU资源的指定性能指标,
    对各个所述指定性能指标进行加权运算得到综合性能指标;
    在所述综合性能指标未超过第三预设阈值时,从所述协处理器资源所对应的节点或 CPU资源所对应的节点中选择所述执行所述待调度作业的节点。

    10.  根据权利要求1至9任一项所述的方法,其特征在于,根据所述资源类型和所述负载信息 选择执行所述待调度作业的节点之后,还包括:
    将选择的所述待调度作业节点通知给集群服务器。

    11.  一种基于协处理器的作业调度处理装置,其特征在于,包括:
    获取???,用于获取待调度作业所请求的资源类型以及各个节点的负载信息,其中 所述资源类型包括协处理器资源和CPU资源;
    选择???,用于根据所述资源类型和所述负载信息选择执行所述待调度作业的节点。

    12.  根据权利要求11所述的装置,其特征在于,所述装置还包括:
    确定???,用于根据各个作业的优先级确定所述待调度作业。

    说明书

    说明书基于协处理器的作业调度处理方法及装置
    技术领域
    本发明通信领域,更具体地说,涉及一种基于协处理器的作业调度处理方法及装置。
    背景技术
    集群作业管理系统(Job Management System,简称为JMS)是根据用户的需求,统一管理和 调度集群的软硬件资源,保证用户作业公平合理地共享集群资源,提高系统资源利用率和吞 吐率。集群JMS包括系统资源管理和作业调度管理,作业调度技术是集群作业管理系统中关 键的技术之一,作业调度的功能在于提供作业提交、调度、执行及控制的新机制,更加有效 地利用系统资源、平衡网络负载、提高系统整体性能。
    作业调度策略是根据一定的算法,从输入的一批作业中选出作业,分配必要的资源,将 其投入运行。该技术是提高集群系统执行并行作业的效率及系统资源利用率的关键因素,对 集群系统提高并行处理能力具有重大的意义。目前,作业调度策略可以划分为两种类型:一 类是面向提高资源利用率的调度策略:根据某种算法选取合适的作业,达到尽量使资源的使 用最大化,提高资源的利用率的目的,这类中常见的有FirstFit。另一类是面向公平性的调度 策略:确保每个作业在较短的时间内能够获得资源,资源的获取使用具有公平性,这类调度 策略常见的是FCFS。
    图形处理器(Graphic Process Unit,简称为GPU),是专用于图形输出流水线的处理和加 速,因此当GPU的功能越来越强时,与图形有关的处理便自然而然地从CPU向GPU转移。 最先发生的转移是最靠近应用程序的几何变换部分,包括造型变换和观察变换;其次是局部 或特殊光照效果的计算和生成。当顶点级和像素级的可编程功能越来越灵活时,图形本身的 处理速度和灵活性都得到了前所未有的提高。而当GPU内部像素级的纹元达到可以参与编程 的运算时,则向着可作通用计算的方向发展。这时,基于GPU的通用计算便应运而生了。
    基于GPU的通用计算(General Purpose GPU,简称为GPGPU)指的是利用图形卡来实现 一般意义上的计算。采用GPU来做通用计算的主要目的是为了加速,加速的动力来自这些新 硬件所具有的以下主要优势:一定的并行性;高密集的运算;减少了GPU与CPU的数据通信。
    GPU的每个流多处理器被看作类似于CPU的单个核心,每个流多处理器以单指令流多线 程方式工作,只能执行相同的程序。尽管GPU运行频率低于CPU,但由于其流处理器数目远 远多于CPU的核心数,我们称之为“众核”,其单精度浮点处理能力达到了同期CPU的十倍之 多。上面两种技术都旨在提高并行作业的执行效率,不同的是前者考虑的层面是节点数,而 后者则是单个节点上的计算核心数。
    目前针对相关技术中的上述问题,目前尚未提出有效的解决方案。
    发明内容
    本发明提供了一种基于协处理器的作业调度处理方法及装置,以至少解决相关技术中, 尚无有效的技术方案实现集群和协处理器相结合的调度方法的问题。
    为了达到上述目的,根据本发明的一个方面,提供了一种基于协处理器的作业调度处理 方法,包括:获取待调度作业所请求的资源类型以及各个节点的负载信息,其中所述资源类 型包括协处理器资源和CPU资源;根据所述资源类型和所述负载信息选择执行所述待调度作 业的节点。
    优选地,获取待调度作业所请求的资源类型以及各个节点的负载信息之前,包括:根据 各个作业的优先级确定所述待调度作业。
    优选地,根据各个作业的优先级确定所述待调度作业,包括:利用所述作业的初始优先 级和等待时间进行加权计算得到所述作业的当前优先级;在所述当前优先级大于第一预设阈 值时,为所述当前优先级对应的作业预约执行所述当前优先级对应的作业所需要的资源;将 所述当前优先级对应的作业设置为所述待调度作业。
    优选地,根据所述资源类型和所述负载信息选择执行所述待调度作业的节点,包括:当 获取的所述资源类型为CPU资源时,比较所述资源类型所对应的请求资源和根据所述负载信 息确定的剩余CPU资源,在所述剩余节点资源满足所述待调度作业所请求的资源时,从所述 剩余CPU资源所对应的节点中选择执行所述待调度作业的节点。
    优选地,上述方法还包括:在所述剩余CPU资源不满足所述待调度作业所请求的资源时, 比较所述待调度作业所请求的资源和协处理器资源,在所述剩余协处理器资源满足所述待调 度作业所请求的资源时,从所述剩余协处理器资源所对应的节点中选择执行所述待调度作业 的节点。
    优选地,根据所述资源类型和所述负载信息选择执行所述待调度作业的节点,包括:当 获取的所述资源类型为协处理器资源时,比较所述资源类型所对应的请求资源和根据所述负 载信息确定的剩余协处理器资源,在所述剩余协处理器资源满足所述待调度作业所请求的资 源时,从所述剩余协处理器资源所对应的节点中选择执行所述待调度作业的节点。
    优选地,上述方法还包括:在所述剩余协处理器资源不满足所述待调度作业所请求的资 源时,比较所述待调度作业所请求的资源和剩余CPU资源,在所述剩余CPU资源满足所述待 调度作业所请求的资源时,从所述剩余CPU资源所对应的节点中选择执行所述待调度作业的 节点。
    优选地,根据所述资源类型和所述负载信息选择执行所述待调度作业的节点之前,还包 括:获取所述协处理器资源和CPU资源的指定性能指标,其中,在所述指定性能指标未超过 第二预设阈值时,从所述协处理器资源所对应的节点或CPU资源所对应的节点中选择执行所 述待调度作业的节点。
    优选地,根据所述资源类型和所述负载信息选择执行所述待调度作业的节点之前,还包 括:获取所述协处理器资源和CPU资源的指定性能指标,对各个所述指定性能指标进行加权 运算得到综合性能指标;在所述综合性能指标未超过第三预设阈值时,从所述协处理器资源 所对应的节点或CPU资源所对应的节点中选择所述执行所述待调度作业的节点。
    优选地,根据所述资源类型和所述负载信息选择执行所述待调度作业的节点之后,还包 括:将选择的所述待调度作业节点通知给集群服务器。
    为了达到上述目的,根据本发明的另一个方面,还提供了一种基于协处理器的作业调度 处理装置,包括:获取???,用于获取待调度作业所请求的资源类型以及各个节点的负载信 息,其中所述资源类型包括协处理器资源和CPU资源;选择???,用于根据所述资源类型和 所述负载信息选择执行所述待调度作业的节点。
    优选地,所述装置还包括:确定???,用于根据各个作业的优先级确定所述待调度作业。
    通过本发明,采用根据获取到的待调度作业所请求的资源类型以及各个节点的负载信息 来选择执行所述待调度作业的节点的技术手段。解决了相关技术中,尚无有效的技术方案实 现集群和协处理器相结合的调度方法。本发明提出一种集群中有效调度协处理器的方法,支 持协处理器的基于预约策略和负载均衡的集群调度,来达到最大的任务并行效率。
    附图说明
    此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示 意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
    图1为根据本发明实施例的基于协处理器的作业调度处理方法的流程图;
    图2是根据本发明实施例的基于协处理器的作业调度处理装置的结构框图;
    图3是根据本发明实施例的基于协处理器的作业调度处理装置的再一结构框图;
    图4为根据本发明优选实施例的基于协处理器的作业调度处理系统的结构框图;
    图5为根据本发明优选实施例的基于协处理器的作业调度处理系统示意图;
    图6为根据本发明优选实施例的基于协处理器的作业调度处理方法的流程图。
    具体实施方式
    下文中将参考附图并结合实施例来详细说明本发明。需要说明的是,在不冲突的情况下, 本申请中的实施例及实施例中的特征可以相互组合。
    图1为根据本发明实施例的基于协处理器的作业调度处理方法的流程图,如图1所示, 该方法包括:步骤S102至步骤S104,
    S102:获取待调度作业所请求的资源类型以及各个节点的负载信息,其中上述资源类型 包括协处理器资源和CPU资源;
    在该步骤之前,即在获取集群作业管理系统中待调度作业所请求的资源类型以及各个节 点的负载信息之前,还需执行以下过程:根据上述集群作业管理系统中各个作业的优先级确 定上述待调度作业。其中,根据上述集群作业管理系统中各个作业的优先级确定上述待调度 作业具体可以包括但不限于以下步骤:利用上述作业的初始优先级和等待时间进行加权计算 得到上述作业的当前优先级;在当前优先级大于第一预设阈值时,为上述当前优先级对应的 作业预约执行该当前优先级对应的作业所需要的资源;将该当前优先级对应的作业设置为上 述待调度作业。
    S104:根据上述资源类型和上述负载信息选择执行上述待调度作业的节点。
    该步骤主要包括以下两种情况:
    第一种情况
    当获取的上述资源类型为CPU资源时,比较上述资源类型所对应的请求资源和根据上述 负载信息确定的剩余CPU资源,在上述剩余节点资源满足上述待调度作业所请求的资源时, 从上述剩余CPU资源所对应的节点中选择执行上述待调度作业的节点。
    其中,在上述剩余CPU资源不满足上述待调度作业所请求的资源时,比较上述待调度作 业所请求的资源和剩余协处理器资源,在上述剩余协处理器资源满足上述待调度作业所请求 的资源时,从上述剩余协处理器资源所对应的节点中选择执行上述待调度作业的节点。
    第二种情况
    当获取的上述资源类型为协处理器资源时,比较上述资源类型所对应的请求资源和根据 上述负载信息确定的剩余协处理器资源,在剩余节点资源满足待调度作业所请求的资源时, 从上述剩余协处理器资源所对应的节点中选择执行上述待调度作业的节点。
    在上述剩余协处理器资源不满足上述待调度作业所请求的资源时,比较上述待调度作业 所请求的资源和剩余CPU资源,在剩余CPU资源满足待调度作业所请求的资源时,从上述剩 余CPU资源所对应的节点中选择执行上述待调度作业的节点。
    在上述步骤之前,即根据上述资源类型和上述负载信息选择执行上述待调度作业的节点 之前,还需执行以下过程:获取上述协处理器资源和CPU资源的指定性能指标,其中,在上 述指定性能指标未超过第二预设阈值时,从上协处理器资源所对应的节点或CPU资源所对应 的节点中选择上述执行上述待调度作业的节点。
    在本实施例中,根据上述资源类型和上述负载信息选择执行上述待调度作业的节点之前, 还包括:获取上述协处理器资源和CPU资源的指定性能指标,对各个上述指定性能指标进行 加权运算得到综合性能指标;在上述综合性能指标未超过第三预设阈值时,从上述协处理器 资源所对应的节点或CPU资源所对应的节点中选择上述执行上述待调度作业的节点。
    需要说明的是,在上述根据上述资源类型和上述负载信息选择执行上述待调度作业的节 点之后,还需执行:将选择的上述待调度作业节点通知给集群服务器,在本实施例中,上述 协处理器至少包括:GPU、数字信号处理器(Digital Signal Processor,简称为DSP)、现场可 编程门阵列(Field Programmable Gate Array,简称为FPGA)。
    通过上述各个步骤,采用根据获取到的集群作业管理系统中待调度作业所请求的资源类 型以及各个节点的负载信息来选择执行上述待调度作业的节点的技术手段。解决了相关技术 中,尚无有效的技术方案实现集群和GPU相结合的调度方法。本发明提出一种集群中有效调 度GPU的方法,支持GPU的基于预约策略和负载均衡的集群调度,来达到最大的任务并行 效率。
    在本实施例中还提供了一种基于协处理器的作业调度处理装置,用于实现上述实施例及 优选实施方式,已经进行过说明的不再赘述,下面对该装置中涉及到的??榻兴得?。如以 下所使用的,术语“??椤笨梢允迪衷ざüδ艿娜砑?或硬件的组合。尽管以下实施例所描 述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想 的。图2是根据本发明实施例的基于协处理器的作业调度处理装置的结构框图。如图2所示, 该装置包括:
    获取???2,用于获取待调度作业所请求的资源类型以及各个节点的负载信息,其中上 述资源类型包括协处理器资源和CPU资源;
    选择???4,与获取???2连接,用于根据上述资源类型和上述负载信息选择执行上述 待调度作业的节点。
    本发明实施例对上述技术方案的进一步改进在于,如图3所示,上述装置还包括:
    确定???6,与获取???2连接,用于根据各个作业的优先级确定上述待调度作业。
    通过上述???,采用选择???4根据获取???2获取到的集群作业管理系统中待调度 作业所请求的资源类型以及各个节点的负载信息来选择执行上述待调度作业的节点的技术手 段。解决了相关技术中,尚无有效的技术方案实现集群和GPU相结合的调度方法。本发明提 出一种集群中有效调度GPU的方法,支持GPU的基于预约策略和负载均衡的集群调度,来 达到最大的任务并行效率。
    为了更好地理解上述实施例中的协处理器的作业调度处理过程,以下结合优选实施例详 细说明。需要说明的是,该优选实施例的方案并不构成对本发明的限定。
    图4为根据本发明优选实施例的基于协处理器的作业调度处理系统的结构框图,如图4 所示:
    本发明优选实施例的主要功能是基于预约策略和负载均衡的调度策略将集群管理系统获 取到的所有可利用的资源信息(包括GPU信息),合理的分配给用户使用。该方案主要包括四 个??椋ㄈ缤?所示):信息收集???2,作业选取???4,资源预约???6,负载均衡的 节点选取???8、集群服务器50。
    其中信息收集???2可以在特定的时间或者特定的信号从集群服务器50获取关于整个 集群中的队列、作业,节点信息,而节点信息中就包括了各个节点可以使用的CPU、内存、 GPU等资源信息,用于作业的调度。作业选取???4则从信息收集???2中获得到的作业 里根据一定的算法选取下一个考虑投入执行的作业。而在考虑为一个作业筛选合适的执行资 源之前,首先会考虑整个系统中那些请求资源多,并且长时间没有获得资源的作业,给这些 饥饿作业进行所需资源的预约,这些就是资源预约???6所要做的事情,这样保证了整个系 统中不会出现因资源无法满足而一直不能投入运行的作业。最后一个负载均衡的节点选取模 块48根据选取出来将要投入运行作业请求的资源,其中可能包括GPU资源的请求,结合考 虑整个系统的负载均衡,选出为作业服务的最优节点,最后这个??榻鞫冉峁⑺透?服务器50,投入运行。
    本发明优选实施例一个重要的信息,即每个节点的负载信息,以便能够更好的利用系统 资源,提高系统性能。传统的集群作业管理系统中各个节点都是同构的,只需要考虑CPU, 内存等信息。而在本发明优选实施例中,集群中加入了GPU高性能计算节点,整个系统是一 个异构环境,如图5所示。因此在考虑节点的负载信息时,会将节点分成两类情况考虑:一 种是普通节点,选取影响节点性能的2个关键指标:CPU利用率和内存剩余;而对于GPU节 点,则要额外考虑GPU的利用率以及GPU的内存剩余。集群运行过程中,节点会定时上报 其对应的负载指标,方案中会根据用户配置的各个指标的权重值算出各个节点的综合负载值。 在给作业分配运行节点的时候,则会选择负载低且满足作业要求的节点为其服务。
    需要说明的是,本发明优选实施例中的信息收集???2相当于上述实施例中的获取???22,本发明优选实施例中的作业选取???4和负载均衡的节点选取???8完成的功能包括 但不限于上述实施例中的选择???4完成的功能。
    图6为根据本发明优选实施例的基于协处理器的作业调度处理方法的流程图。如图6所 示,该方法包括:
    步骤S602、进行调度器初始化,从配置文件中读取各项资源的权重(如GPU核数、GPU 内存,CPU信息等),以及各个节点资源以及整体的负载阈值。
    在给作业选取节点的时候,如果节点的某个资源利用率或者整体负载超过配置文件中对 应的阈值,就不会考虑这个节点。
    步骤S604、当收到server发送过来调度的信号,首先与服务器进行通信,获取所有队列、 作业、节点的信息。
    步骤S606、根据节点的资源信息以及配置文件中资源权重计算每个节点的负载信息。
    步骤S608、对队列中的饥饿作业进行处理,如果饥饿作业请求的资源能够满足,执行步 骤S618,如果不能得到满足,转到步骤S610。
    步骤S610、对饥饿作业请求的资源进行预约。
    步骤S612、对非饥饿作业进行调度,首先判断作业是否请求GPU资源,若不请求,则作 业是普通作业,执行步骤S614,若请求,则作业是GPU作业,执行步骤S616。
    步骤S614、将作业的资源请求和所有普通节点的剩余资源进行比较,筛选出作业的执行 节点,这个步骤里面有可能是为请求CPU资源的任务进行节点的选择,也可能会为非CPU请 求的作业进行节点筛选,因其在步骤S616中在GPU节点里面没有满足自身所有的节点请求, 剩下的节点请求就会在普通节点中筛选。若作业请求的所有资源都满足,则执行步骤S618。
    步骤S616、将作业的资源请求和所有GPU节点的剩余资源进行比较,筛选出作业的执行 节点。这个步骤里面有可能是为请求GPU资源的任务进行节点的选择,也可能会为非GPU 请求的作业进行节点筛选,因其在步骤S614中在普通节点里面没有满足自身所有的节点请求, 剩下的节点请求就会在GPU节点中筛选。若作业请求的所有资源都满足,则执行步骤S618。
    步骤S618、将需要投入运行的作业以及其运行的节点信息发送给server端。
    步骤S620、更新调度器这边作业、节点、队列等信息。当前是否有作业供调度,有则执 行步骤S612,否则这轮调度结束。检查当前作业优先级,如果存在饥饿作业则加入饥饿队列, 并执行步骤S604。
    综上所述,本发明实施例提供的上述技术方案达到了以下效果:
    (1)本发明实施例充分利用了高性能计算的GPU,使之与集群调度相结合,在GPU自 己本身并行处理之上提供了集群级的二次并行,从而减少任务运行时间,提高整个集群作业 吞吐率?;岣葑饕登肭笞试吹牟煌悸窃谄胀ń诘慊故窃贕PU节点选取合适的节点运行, 这样就很好的构建一个异构环境的集群调度。实际应用中,GPU节点也可以是其它类型的协 处理器,例如DSP、FPGA等。
    (2)本发明实施例将节点分成了两种类别:普通节点和GPU节点,差别就在于该节点 是否使用GPU。对于普通作业,即没有请求GPU的作业,都会优先在普通节点中筛选符合要 求的节点,这样做的好处是不会因为普通作业占用GPU节点从而使得真正请求GPU资源的 作业不能投入运行。如果作业没有请求GPU资源,但是在普通节点中没有筛选出符合要求的 节点,则会考虑从GPU节点中筛??;反之,如果作业请求GPU资源,但是在GPU节点中没 有筛选出符合要求的节点,也会考虑从普通节点中筛选。从而实现CPU节点和GPU节点的负 载均衡。
    (3)本发明实施例将作业分成了两种类别:非饥饿作业和饥饿作业,使用不同的作业队 列。对于非饥饿作业,按照作业队列顺序分配计算资源(CPU或者GPU)。而对于饥饿作业, 一般已经等待了较长时间无法调度,需要在每次调度之前优先为其预约需要的计算资源,保 证其能够得到调度。作业最初都是非饥饿作业,通过初始优先级和等待时间加权计算得到当 前优先级,当超过某个阈值时,则加入饥饿作业。加权算法可以根据需要设置,例如: Pn=Po+lgT,其中Pn表示作业加权后的优先级,Po表示初始优先级,T表示等待时间。
    (4)本发明实施例对普通节点和GPU节点的各项性能指标都有阈值的设定。这个是由 系统管理员进行设定,管理员可以根据节点的不同性能指标的强弱设定与其相符合的阈值, 当节点的某个或某些性能参数超过了设定的阈值,那么这个节点就不再参与调度,直到节点 上面有作业执行完毕,利用率低于阈值时才会重新参与调度。同时,每个节点还考虑综合指 标,并且设定了一个综合阈值。在计算每个节点的综合指标时,管理员需要设定节点上不同 性能指标所占的权重,那么综合指标就为各个性能利用率与其权重的乘积和。如果节点的CPU 性能比较强,那么管理员可以设定CPU性能的权重大,亦反之。通过这种方式,可以更加合 理的发挥各个节点的优势,使得集群系统中资源的利用率提高。
    显然,本领域的技术人员应该明白,上述的本发明的各装置或各步骤可以用通用的计算 装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上, 可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置 中由计算装置来执行,并且在某些情况下,可以以不同于此处的顺序执行所示出或描述的步 骤,或者将它们分别制作成各个集成电路???,或者将它们中的多个??榛虿街柚谱鞒傻ジ?集成电路??槔词迪?。这样,本发明不限制于任何特定的硬件和软件结合。
    以上仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说, 本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、 改进等,均应包含在本发明的?;し段е?。

    关 键 词:
    基于 处理器 作业 调度 处理 方法 装置
      专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
    关于本文
    本文标题:基于协处理器的作业调度处理方法及装置.pdf
    链接地址://www.4mum.com.cn/p-5894656.html
    关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服客服 - 联系我们

    [email protected] 2017-2018 www.4mum.com.cn网站版权所有
    经营许可证编号:粤ICP备17046363号-1 
     


    收起
    展开
  • 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03