• 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
    • / 16
    • 下载费用:30 金币  

    重庆时时彩人工计划aqq: 一种基于统计分析的HADOOP配置参数优化方法.pdf

    摘要
    申请专利号:

    重庆时时彩单双窍门 www.4mum.com.cn CN201510096561.0

    申请日:

    2015.03.04

    公开号:

    CN104750780A

    公开日:

    2015.07.01

    当前法律状态:

    授权

    有效性:

    有权

    法律详情: 授权|||实质审查的生效IPC(主分类):G06F 17/30申请日:20150304|||公开
    IPC分类号: G06F17/30; G06F9/46 主分类号: G06F17/30
    申请人: 北京航空航天大学
    发明人: 杨海龙; 栾钟治; 钱德沛
    地址: 100191北京市海淀区学院路37号
    优先权:
    专利代理机构: 北京永创新实专利事务所11121 代理人: 李有浩
    PDF完整版下载: PDF下载
    法律状态
    申请(专利)号:

    CN201510096561.0

    授权公告号:

    ||||||

    法律状态公告日:

    2017.10.13|||2015.07.29|||2015.07.01

    法律状态类型:

    授权|||实质审查的生效|||公开

    摘要

    本发明公开了一种基于统计分析的Hadoop配置参数优化方法,优化步骤是:通过对具有代表性的应用在不同的Hadoop系统配置下的运行状况和性能信息进行采样,从而根据应用的行为特征进行分类,针对每一类应用筛选出对应用性能影响显著的配置参数,并利用这些关键配置参数建立应用的性能预测模型,进而对不同系统参数配置下的应用性能进行准确地预测,指导系统管理员对Hadoop系统进行参数调优。本发明方法降低了传统基于经验的系统配置参数优化的复杂度,避免了对于不同类型应用和不同软硬件平台配置参数优化方案可移植性差的缺点,通过统计分析的方法建立应用性能预测模型,能够有效指导Hadoop系统的配置参数优化。

    权利要求书

    权利要求书
    1.  一种基于统计分析的Hadoop配置参数优化方法,包括有下列步骤:
    第一步:配置Hadoop系统的工作负载集;
    第二步:配置Hadoop系统的参数集;
    第三步:配置参数取值类型和范围;
    第四步:配置硬件环境;
    其特征在于:还包括有下列步骤:
    第五步:依据配置参数运行Hadoop的系统;
    根据第一步至第四步设置的系统配置参数取值范围,首先为Hadoop系统集群选择任意一参数配置组合confM,然后选择工作负载集中的任意一次应用appi,最后运行Hadoop的系统,记录下应用样本记录
    第六步:构建样本输入矩阵;
    将第五步采集到的应用样本记录RiM组织成样本输入矩阵S,所述输入矩阵S中的每一行为选择的配置参数,每一列为应用appi的运行样本。
    第七步:聚类分析得到聚类特征;
    对第六步得到的样本输入矩阵S进行聚类分析,根据应用appi的运行行为特征将其划分到不同的特征分类clusteri中。
    第八步:主成分分析
    针对第七步计算出的聚类特征clusteri中的应用appi,通过主成分分析筛选出其中对应用性能影响显著的配置参数A_para。
    第九步:构建应用性能预测模型MD
    根据第八步筛选出的对应用性能影响显著的配置参数A_para,首先从应用运行样本输入矩阵S中提取出与关键配置参数相对应的样本输入子矩阵Ssub;然后利用支持向量回归算法计算应用性能预测模型MD。

    2.  根据权利要求1所述的一种基于统计分析的Hadoop配置参数优化方法,其特征在于:在第八步的主成分分析过程中,针对聚类中应用的运行样本矩阵,进行主成分分析计算,得到任意一主成分PCi;从所述PCi中选取出方差累积贡献率Contribution到达85%的主成分,即形成保留主成分R_PCk, k为保留的主成分的个数;然而,对于每一个保留主成分R_PCk,选择排名前三的配置参数,记为对应用性能影响显著的配置参数A_para。

    3.  根据权利要求1所述的一种基于统计分析的Hadoop配置参数优化方法,其特征在于:在第七步的聚类处理过程中,聚类计算过程采用层次型聚类中的最近邻算法,即两个聚类间的距离由聚类中距离最近点的距离确定。

    4.  根据权利要求3所述的一种基于统计分析的Hadoop配置参数优化方法,其特征在于:当不同应用的连接距离小于5时,认为应用的运行行为上具有较强的相似性,则被划分到同一个聚类里。

    5.  根据权利要求1所述的一种基于统计分析的Hadoop配置参数优化方法,其特征在于:样本输入矩阵S的形式表达为S=para11para12...para1Mpara21para22...para2M............parai1parai2...paraiM.]]>

    6.  根据权利要求1所述的一种基于统计分析的Hadoop配置参数优化方法,其特征在于:在第一步的工作负载集的配置中,所述工作负载集由8个不同的应用组成,按照其所代表的应用领域又分为4类,分别是微工作负载、HDFS工作负载、网页检索和机器学习。

    7.  根据权利要求1所述的一种基于统计分析的Hadoop配置参数优化方法,其特征在于:在第二步的参数集的配置中,所述参数集可以分为工作负载和系统配置两大类,同时工作负载根据其执行的不同阶段,又可以细分为Map阶段、Reduce阶段和整体阶段三部分。

    8.  根据权利要求1所述的一种基于统计分析的Hadoop配置参数优化方法,其特征在于:在第三步的参数取值和范围选取中,参数取值类型包括整数、布尔型、字符串和百分比,参数的取值范围包括离散型和连续型。

    关 键 词:
    一种 基于 统计分析 HADOOP 配置 参数 优化 方法
      专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
    关于本文
    本文标题:一种基于统计分析的HADOOP配置参数优化方法.pdf
    链接地址://www.4mum.com.cn/p-5894560.html
    关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服客服 - 联系我们

    [email protected] 2017-2018 www.4mum.com.cn网站版权所有
    经营许可证编号:粤ICP备17046363号-1 
     


    收起
    展开
  • 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03