• 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
    • / 15
    • 下载费用:30 金币  

    重庆时时彩计划方案: 一种基于CPU核管理的分布式并行计算平台及方法.pdf

    关 键 词:
    一种 基于 CPU 管理 分布式 并行 计算 平台 方法
      专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
    摘要
    申请专利号:

    CN201410079473.5

    申请日:

    2014.03.05

    公开号:

    CN103870338A

    公开日:

    2014.06.18

    当前法律状态:

    驳回

    有效性:

    无权

    法律详情: 发明专利申请公布后的驳回IPC(主分类):G06F 9/50申请公布日:20140618|||实质审查的生效IPC(主分类):G06F 9/50申请日:20140305|||公开
    IPC分类号: G06F9/50; G06F9/38 主分类号: G06F9/50
    申请人: 国家电网公司; 国网山东省电力公司电力科学研究院; 中国电力科学研究院
    发明人: 杨冬; 何春江; 李文博; 周智强; 张丹丹; 张松树; 麻?;? 陈勇; 裘微江; 刘铭; 臧主峰; 李星; 陈继林; 郭中华; 康建东
    地址: 100031 北京市西城区西长安街86号
    优先权:
    专利代理机构: 济南圣达知识产权代理有限公司 37221 代理人: 张勇
    PDF完整版下载: PDF下载
    法律状态
    申请(专利)号:

    CN201410079473.5

    授权公告号:

    ||||||

    法律状态公告日:

    2018.02.09|||2014.07.16|||2014.06.18

    法律状态类型:

    发明专利申请公布后的驳回|||实质审查的生效|||公开

    摘要

    本发明公开了一种基于CPU核管理的分布式并行计算平台,包括:数据节点服务器:包括至少一台具有cpu多核能力的计算机,用于存放历史结果以及数据库服务节点;调度节点服务器:包括至少一台具有cpu多核能力的计算机,用于计算任务的调度与管理;计算节点服务器:包括至少一台具有cpu多核能力的计算机,用于将用户提交的数据进行处理,并调用第三方计算程序参与计算,所述第三方核心计算程序部署在计算节点上;本发明有益效果:本发明充分利用了cpu多核技术,对多任务处理大大提高了计算效率,充分利用了计算机资源,多核处理器比单核处理器具有性能和效率优势,多核处理器将会成为广泛采用的计算模型。

    权利要求书

    权利要求书
    1.  一种基于CPU核管理的分布式并行计算平台,其特征是,包括:
    数据节点服务器:包括至少一台具有cpu多核能力的计算机,用于存放历史结果以及数据库服务节点;
    调度节点服务器:包括至少一台具有cpu多核能力的计算机,用于计算任务的调度与管理;
    计算节点服务器:包括至少一台具有cpu多核能力的计算机,用于将用户提交的数据进行处理,并调用第三方计算程序参与计算,所述第三方核心计算程序部署在计算节点上;
    计算节点服务器将计算任务传送到调度节点服务器,调度节点服务器通过计算整个集群空闲资源cpu核数,进行计算任务的调度管理与数据的分布式并行计算,并将计算结果存储至数据节点服务器。

    2.  一种如权利要求1所述的基于CPU核管理的分布式并行计算平台,其特征是,所述计算机上安装Linux操作系统,并配置Linux的SSH服务器使各个计算机之间无密码登陆。

    3.  一种如权利要求1所述的基于CPU核管理的分布式并行计算方法,其特征是,包括:
    搭建基于核管理的并行分布式计算平台,加载配置文件并读取配置信息;
    并行分布式计算平台对整个集群空闲资源cpu核数进行采集统计;
    并行分布式计算平台针对客户端用户提交的计算任务数据,以及包含任务计算类别、超时时间、计算参数信息的配置文件TaskList,实时更新集群空闲资源cpu核数,对计算任务进行并行处理。

    4.  如权利要求3所述的一种基于CPU核管理的分布式并行计算方法,其特征是,所述并行分布式计算平台对整个集群空闲资源cpu核数进行采集统计的具体方法为:
    计算节点每隔设定时间将包括cpu核数、硬盘空间、内存大小信息的本机资源打包发送至调度节点服务器;
    调度节点服务器收到计算节点的资源信息包后,将cpu核数信息存储到一个全局结构体变量中;
    由调度节点DistComp进程开启定时器函数,所述定时器函数定期检查所有计算节点上报资源信息情况,通过判断节点信息更新时间来判断计算节点资源上报信息是否超时,如果超时,DistComp将该计算节点的cpu核数从集群可用的cpu核数当中剔除,并存储当前集群可用的cpu核数。

    5.  如权利要求3所述的一种基于CPU核管理的分布式并行计算方法,其特征是,所述并行分布式计算平台对计算任务进行并行处理的具体流程为:
    调度节点初始化时即开启一个任务处理线程和一个消息接收线程,用于分别不断的处理任务和从别的节点发回来的消息;
    用户客户端下发一个计算任务请求后,调度节点处理所述任务请求中的必要信息后,将所述计算任务请求存储为新任务,并将新任务发送至任务待处理队列当中;
    任务处理线程发现有新任务到达时,首先判断是否当前集群有空闲核可以利用,如果没有,则回到线程继续等待;如果有可以利用的空闲核资源,则将新任务加上任务名后连同数据一起打包到计算节点请求计算,更新平台总空闲核数为当前平台总空闲核数减去该任务占用核数;
    新建一个任务定时器函数用于检查该任务是否超时,当调度节点收到该任务完成消息或者该任务发生计算超时后,调度节点更新平台总空闲核数为当前平台总空闲核数加上该任务占用核数,并将任务写入数据库结果表。

    说明书

    说明书一种基于CPU核管理的分布式并行计算平台及方法
    技术领域
    本发明涉及电力系统仿真分布式并行计算领域,尤其涉及一种基于CPU核管理的分布式并行计算平台及方法。
    背景技术
    分布式并行计算平台是在多机环境下实现计算任务分配、任务调度、计算结果汇总、出错处理等,可以快速完成电力系统的仿真计算,并通过标准可扩展接口实现应用软件与并行计算平台之间的交互。
    并行计算机群硬件近三年的飞跃式发展,并行计算单机硬件由之前的单机两路双核跃升到目前四路六核,可供利用计算资源CPU核数由三年前的单机四核发展至单机二十四核。随着D5000平台项目以及山东云仿真试点项目建设,分布式并行计算平台明确作为基本功能集成至D5000平台与云仿真平台,在电力系统计算与分析中起着关键、基本的平台支撑作用。
    目前,分布式并行计算平台已经成功应用至在线运行态、在线研究态大电网预警及辅助决策系统,静态安全校核系统,离线研究态预警计算,综合稳定计算网络版,云仿真平台等。
    从应用现状表现看,优缺点都很明显:在线运行态分布式并行计算平台不论是周期计算还是事件或者人工触发计算,计算任务相对计算资源饱和的情况下,运行高效、稳定;在线、离线研究态并行计算管理集群总CPU核数小于总任务数,也就是任务饱和的情况下,运行高效、稳定;在线、离线研究态分布式并行计算平台集群任务不饱和情况下,运行稳定,但是计算资源利用率低,目前的分布式计算平台都没有考虑cpu多核处理的优势,对多任务计算处理效率低,并且稳定性不高。例如:计算故障数为40,机群计算刀片为52片,每片具备计算资源8核,机群能提供的CPU核数为416核,单任务独占整个并行计算集群时间期间,计算资源核与节点利用率都仅为9.6%;分布式并行计算平台集群计算耗时木桶效应明显,单批任务(阶段与轮次)分析计算总耗时等同于轮次内最长耗时计算占用时间。
    发明内容
    本发明的目的就是为了解决上述问题,提出了一种基于CPU核管理的分布式并行计算平台及方法。该方法可以大大提高电网计算分析能力,并且可以提高分布式计算平台的运行效率和稳定性,另外目前计算机的高内存、分布式存储技术等也为分布式并行计算平台的多核管理提供了有力的技术支撑。
    为了实现上述目的,本发明采用如下技术方案:
    一种基于CPU核管理的分布式并行计算平台,包括:
    数据节点服务器:包括至少一台具有cpu多核能力的计算机,用于存放历史结果以及数据库服务节点。
    调度节点服务器:包括至少一台具有cpu多核能力的计算机,用于计算任务的调度与管理。
    计算节点服务器:包括至少一台具有cpu多核能力的计算机,用于将用户提交的数据进行处理,并调用第三方计算程序参与计算,所述第三方核心计算程序部署在计算节点上。
    计算节点服务器将计算任务传送到调度节点服务器,调度节点服务器通过计算整个集群空闲资源cpu核数,进行计算任务的调度管理与数据的分布式并行计算,并将计算结果存储至数据节点服务器。
    所述计算机上安装Linux操作系统,并配置Linux的SSH服务器使各个计算机之间无密码登陆。
    一种基于CPU核管理的分布式并行计算方法,包括:
    搭建基于核管理的并行分布式计算平台,加载配置文件并读取配置信息。
    并行分布式计算平台对整个集群空闲资源cpu核数进行采集统计。
    并行分布式计算平台针对客户端用户提交的计算任务数据,以及包含任务计算类别、超时时间、计算参数信息的配置文件TaskList,实时更新集群空闲资源cpu核数,对计算任务进行并行处理。
    所述并行分布式计算平台对整个集群空闲资源cpu核数进行采集统计的具体方法为:
    计算节点每隔设定时间将包括cpu核数、硬盘空间、内存大小信息的本机资源打包发送至调度节点服务器。
    调度节点服务器收到计算节点的资源信息包后,将cpu核数信息存储到一个全局结构体变量中。
    由调度节点DistComp进程开启定时器函数,所述定时器函数定期检查所有计算节点上报资源信息情况,通过判断节点信息更新时间来判断计算节点资源上报信息是否超时,如果超时,DistComp将该计算节点的cpu核数从集群可用的cpu核数当中剔除,并存储当前集群可用的cpu核数。
    所述并行分布式计算平台对计算任务进行并行处理的具体流程为:
    调度节点初始化时即开启一个任务处理线程和一个消息接收线程,用于分别不断的处理任务和从别的节点发回来的消息。
    用户客户端下发一个计算任务请求后,调度节点处理所述任务请求中的必要信息后,将所述计算任务请求存储为新任务,并将新任务发送至任务待处理队列当中。
    任务处理线程发现有新任务到达时,首先判断是否当前集群有空闲核可以利用,如果没有,则回到线程继续等待;如果有可以利用的空闲核资源,则将新任务加上任务名后连同数据一起打包到计算节点请求计算,更新平台总空闲核数为当前平台总空闲核数减去该任务占用核数。
    新建一个任务定时器函数用于检查该任务是否超时,当调度节点收到该任务完成消息或者该任务发生计算超时后,调度节点更新平台总空闲核数为当前平台总空闲核数加上该任务占用核数,并将任务写入数据库结果表。
    本发明的有益效果是:本发明充分利用了cpu多核技术,对多任务处理大大提高了计算效率,充分利用了计算机资源,多核处理器比单核处理器具有性能和效率优势,多核处理器将会成为广泛采用的计算模型。
    之前的分布式计算平台都没有考虑cpu多核处理的优势,对多任务计算处理效率低,并且稳定性不高,经过重新架构,将cpu多核技术运用到分布式并行计算平台后,计算速度和稳定性明显提高了,只要计算资源充足,无论多少任务都会在较短的时间内计算完成。
    附图说明
    图1为本发明分布式并行计算平台网络示意图;
    图2为本发明分布式并行计算平台cpu核数采集流程图;
    图3为本发明分布式并行计算平台任务处理流程图;
    图4为本发明分布式并行计算平台任务数据流示意图;
    图5为本发明分布式并行计算平台结果数据流示意图。
    具体实施方式:
    下面结合附图与实施例对本发明做进一步说明:
    一、搭建一种基于CPU核管理的分布式并行计算平台
    分布式并行计算平台结构如图1所示。
    硬件配置
    数据节点服务器:包括至少一台具有cpu多核能力的计算机,用于存放历史结果以及数据库服务节点。
    调度节点服务器:包括至少一台具有cpu多核能力的计算机,用于计算任务的调度与管理。
    计算节点服务器:包括至少一台具有cpu多核能力的计算机,用于将用户提交的数据进行处理,并调用第三方计算程序参与计算,所述第三方核心计算程序部署在计算节点上。
    计算节点服务器将计算任务传送到调度节点服务器,调度节点服务器通过计算整个集群空闲资源cpu核数,进行计算任务的调度管理与数据的分布式并行计算,并将计算结果存储至数据节点服务器。
    软件配置
    操作系统:linux(主流unix操作系统均可)
    内存:2G以上
    硬盘:30G以上
    CPU:1核以上
    平台部署
    1、新建用户
    新建并行计算平台用户(ndsa,如果机器上有该用户,则先删除),该用户用于分布式环境下进行电力系统仿真计算,在所有节点上进行如下操作:
    $su-root
    $groupadd ndsa
    $useradd–m–g ndsa ndsa
    $passwdndsa(ndsa,ndsa)
    2、平台包安装
    在数据、调度、计算节点上分别解压相关的tgz压缩包,解压后的目录结构说明如下:
    bin:存放平台及通信中间件可执行程序
    conf:平台配置文件
    data:平台计算数据目录
    lib:平台库文件目录
    log:平台运行日志文件目录
    temp:平台测试目录
    tools:平台工具文件目录
    task:二阶段结果文件存储目录
    result:临时结果文件存储目录
    tools:并行计算平台控制脚本
    senddata:模拟数据下发提交端存放目录
    3、ssh配置
    该设置用于平台节点ndsa用户之间无需校验密码登录
    第一步:
    用ndsa用户登录调度和所有计算节点上执行以下命令:
    rm–rf/home/ndsa/.ssh
    ssh-keygen–t rsa(该命令提示输入时按回车执行即可)
    第二步:
    在调度节点上执行
    cp/home/ndsa/.ssh/id_rsa.pub/home/ndsa/.ssh/authorized_keys
    第三步:
    在调度节点上执行拷贝命令
    scp–rp/home/ndsa/.ssh/*[email protected]计算节点名1:/home/ndsa/.ssh/
    scp–rp/home/ndsa/.ssh/*[email protected]计算节点名2:/home/ndsa/.ssh/
    ………………………………………………….(表示其他计算节点)
    4、环境变量配置
    编辑.bashrc文件
    $cd/home/ndsa/
    $vi.bashrc
    增加:
    export LD_LIBRARY_PATH=/home/ndsa/lib:/home/ndsa/lib64
    执行命令
    $source.bashrc(或重启系统)
    编辑.bash_profile文件
    $vi.bash_profile
    增加:
    PATH=$PATH:$HOME/bin:/sbin
    export PATH
    执行命令:
    $source.bash_profile(或重启系统)
    二、平台cpu核管理
    经过上述步骤后,整个基于核管理的并行分布式计算平台基本搭建完成。平台启动后,首先加载相应配置文件读取必要配置信息,比如平台模式(在线或离线)、网卡信息、节点信息等,然后进入事件循环,平台每类节点功能紧凑而单一,本着??榛懊嫦蚨韵笊杓扑枷?,对节点功能说明如下:
    1、网关节点(可配置):yjq在线触发节点,主要用于在线分布式平台计算任务下发以及一些第三方控制程序等。
    2、数据节点:历史结果存放目录,以及最重要的数据库服务节点。
    3、调度节点:是整个并行分布式计算平台的核心,起着任务调度及控制功能,结果回收、数据库操作、平台管理。
    4、计算节点:负责将用户提交的数据进行处理,并调用第三方计算程序参与计算,并将计算结果传送到调度节点。
    并行分布式计算平台对于计算资源(cpu核数)的采集如图2所示:
    首先由计算节点每隔20秒(可调)将本机资源,包括cpu核数、硬盘空间、内存大小等信息打包发送到调度服务器,然后调度节点收到该计算节点的资源信息包后,将cpu核数信息存储到一个全局结构体变量中,最后由调度节点DistComp进程开启一定时器函数,定期检查所有计算节点上报资源信息情况,通过判断节点信息更新时间来判断计算节点资源上报信息是否超时,如果超时了,DistComp将该计算节点的cpu核数从集群可用的核数当中剔除,这样既可以有效维护cpu核数资源信息,也可以判断计算是否处于服务状态,大大加强了平台的稳定性和可维护性。
    三、用户数据协议
    对于客户端用户提交的离线一阶段计算任务数据除了必要的计算数据(conf、data、para等目录数据)外,还需要包括对任务详细划分的一份配置文件TaskList,用于说明任务的计算类别、超时时间、故障或断面号等信息,这样调度节点就能很清晰的存储和分配、下发计算任务,不至于产生混淆。
    TaskList文件内容格式如下:


    四、并行计算平台任务处理
    平台对于计算任务处理比较复杂,依据侧重点不同,流程呈现多样化,针对cpu核管理的任务处理流程如图3所示:
    从流程分析得知平台对cpu核的依赖程度是比较高的,只有当核有空闲的时候,平台才会将计算任务下发到计算节点参与计算,否则平台会一直等待,直到有空闲核。
    平台调度节点初始化时即开启一个任务处理线程和一个消息接收线程,用于分别不断的处理任务和从别的节点发回来的消息,当用户客户端下发一个计算任务请求后,调度节点处理该任务一些必要信息后将该新任务发送到任务待处理队列当中。
    任务处理线程发现有新任务到达时,首先判断是否当前集群有空闲核可以利用,如果没有,则回到线程继续等待,如果此时有可以利用的空闲核资源,则将该新任务加上包头信息后连同数据一起打包到计算节点请求计算,然后更新当前平台总空闲核数为先前平台总空闲核数减去该任务占用核数。
    最后再新建一个任务定时器函数用于检查该任务是否超时,当调度节点收到该任务完成消息或者该任务发生计算超时后,调度节点更新当前平台总空闲核数为先前平台总空闲核数加上该任务占用核数,随后将任务写入数据库结果表。
    五、平台程序说明


    平台启动和停止
    在调度服务器节点ndsa用户命令行提示符下操作平台启停功能:
    启动平台命令:startplatformd
    停止平台命令:stopplatformd
    图4和图5分别为分布式并行计算平台任务数据流和结果数据流示意图,客户端提交任务信息后,经调度管理和并行计算获得计算结果数据,结果数据通过调度管理返回给客户端。
    上述虽然结合附图对本发明的具体实施方式进行了描述,但并非对本发明?;し段У南拗?,所属领域技术人员应该明白,在本发明的技术方案的基础上,本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的?;し段б阅?。

    关于本文
    本文标题:一种基于CPU核管理的分布式并行计算平台及方法.pdf
    链接地址://www.4mum.com.cn/p-6126210.html
    关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服 - 联系我们

    [email protected] 2017-2018 www.4mum.com.cn网站版权所有
    经营许可证编号:粤ICP备17046363号-1 
     


    收起
    展开
  • 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
  • 好彩网网址 981游戏中心官方下载 新时时彩 体彩刮刮乐600一本保底 北单上下单双玩法 腾讯欢乐捕鱼辅助 管家婆一肖两码中特 股票融资的特点 云南十一选五技巧 网球比分app 新浪时时彩图 基督教教会怎样赚钱 快乐十分开奖结果查询山西 大神棋牌正版下载 江苏排列三走势图 西甲皇马vs塞维利亚全场录像