• 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
    • / 11
    • 下载费用:20 金币  

    中彩网官网重庆时时彩: 一种日志管理系统、方法及装置.pdf

    摘要
    申请专利号:

    重庆时时彩单双窍门 www.4mum.com.cn CN201611200120.1

    申请日:

    2016.12.22

    公开号:

    CN106850258A

    公开日:

    2017.06.13

    当前法律状态:

    实审

    有效性:

    审中

    法律详情: 实质审查的生效IPC(主分类):H04L 12/24申请日:20161222|||公开
    IPC分类号: H04L12/24; G06F17/30 主分类号: H04L12/24
    申请人: 北京锐安科技有限公司
    发明人: 肖力文
    地址: 100044 北京市海淀区西小口路66号中关村东升科技园北领地B-2号楼七层
    优先权:
    专利代理机构: 北京品源专利代理有限公司 11332 代理人: 胡彬;邓猛烈
    PDF完整版下载: PDF下载
    法律状态
    申请(专利)号:

    CN201611200120.1

    授权公告号:

    |||

    法律状态公告日:

    2017.07.07|||2017.06.13

    法律状态类型:

    实质审查的生效|||公开

    摘要

    本发明实施例公开了一种日志管理方法、装置及系统。该方法包括:Kafka根据不同的业务定义日志格式和Hbase表,并根据所述日志格式将日志数据发送到KafkaCluster的Topic中;Flume和Jstorm从所述Topic中读取日志数据;所述Flume和所述Jstorm读取所述日志数据并进行HDFS的数据持久化操作。本发明采用了Kafka这一高吞吐量的分布式发布订阅消息系统与Flume海量日志采集、聚合和传输的系统;采用的所有组件都采用了Master/Slave模式保证了当有个别节点宕机的情况下不会影响业务的正常运行,并且Flume与Kafka都有Wal机制,保证日志不会丢失。

    权利要求书

    1.一种日志管理系统,其特征在于,所述系统包括:Kafka、Flume和Jstorm;
    所述K afka,用于根据不同的业务定义日志格式和Hbase表,并根据所述日志格式将日
    志数据发送到KafkaCluster的Topic中;
    所述Flume,用于从所述Topic中读取日志数据,读取所述日志数据并进行HDFS的数据
    持久化操作;
    所述Jstorm,用于从所述Topic中读取日志数据,读取所述日志数据并进行HDFS的数据
    持久化操作。
    2.一种日志管理方法,其特征在于,所述方法包括:
    Kafka根据不同的业务定义日志格式和Hbase表,并根据所述日志格式将日志数据发送
    到KafkaCluster的Topic中;
    Flume和Jstorm从所述Topic中读取日志数据;
    所述Flume和所述Jstorm读取所述日志数据并进行HDFS的数据持久化操作。
    3.根据权利要求2所述的方法,其特征在于,所述根据不同的业务定义日志格式和
    Hbase表,包括:
    根据不同的业务定义日志格式,并在所述Kafka中定义不同的Topic,所述Topic用于收
    发日志;
    根据业务需要定义所述Hbase表,所述Hbase表用于避免造成热点写\读。
    4.根据权利要求2所述的方法,其特征在于,所述Flume读取所述日志数据并进行HDFS
    的数据持久化操作,包括:
    从所述Flume中读取所述日志数据并传输到Hbase表中,未做ETL的数据需数据持久化
    操作到HDFS中。
    5.根据权利要求2所述的方法,其特征在于,所述Jstorm读取所述日志数据并进行HDFS
    的数据持久化操作,包括:
    所述JStorm从所述KafkaCluster中获取所述日志数据并通过预设算法计算后将复杂
    业务逻辑数据持久化操作到RDBMS中;
    从所述Jstorm中分析的日志数据持久化操作到所述RDBMS中后,由Sqoop组件进行所述
    HDFS的数据持久化操作。
    6.根据权利要求1至5任意一项所述的方法,其特征在于,所述Flume和所述Jstorm读取
    所述日志数据并进行HDFS的数据持久化操作之后,包括:
    采用MapReduce进行分析提取数据持久化操作后的数据;
    若所述数据持久化操作后的数据量小于预设第一数据量阈值,则采用Sqoop重新提交
    到RDBMS中;
    若所述数据持久化操作后的数据量大于预设第二数据阈值,则采用Solr、ES全文数据
    库做查询支撑。
    7.一种日志管理装置,其特征在于,所述装置包括:
    定义???,用于根据不同的业务定义日志格式和Hbase表;
    发送???,用于根据所述日志格式将日志数据发送到KafkaCluster的Topic中;
    读取???,用于从所述Topic中读取日志数据。
    第一处理???,用于读取所述日志数据并进行HDFS的数据持久化操作;
    8.根据权利要求7所述的装置,其特征在于,所述定义???,具体用于:根据不同的业务
    定义日志格式,并在所述Kafka中定义不同的Topic,所述Topic用于收发日志;
    根据业务需要定义所述Hbase表,所述Hbase表用于避免造成热点写\读。
    9.根据权利要求7所述的装置,其特征在于,所述第一处理???,具体用于:
    从Flume中读取所述日志数据并传输到Hbase表中,未做ETL的数据需数据持久化操作
    到HDFS中;
    所述第一处理???,还具体用于:
    从所述KafkaCluster中获取所述日志数据并通过预设算法计算后将复杂业务逻辑数
    据持久化操作到RDBMS中;从Jstorm中分析的日志数据持久化操作到所述RDBMS中后,由
    Sqoop组件进行所述HDFS的数据持久化操作。
    10.根据权利要求7至9任意一项所述的装置,其特征在于,所述装置还包括:
    第二处理???,用于在所述Flume和所述Jstorm读取所述日志数据并进行HDFS的数据
    持久化操作之后,采用MapReduce进行分析提取数据持久化操作后的数据;若所述数据持久
    化操作后的数据量小于预设第一数据量阈值,则采用Sqoop重新提交到RDBMS中;若所述数
    据持久化操作后的数据量大于预设第二数据阈值,则采用Solr、ES全文数据库做查询支撑。

    关 键 词:
    一种 日志 管理 系统 方法 装置
      专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
    0条评论

    还可以输入200字符

    暂无评论,赶快抢占沙发吧。

    关于本文
    本文标题:一种日志管理系统、方法及装置.pdf
    链接地址://www.4mum.com.cn/p-6014500.html
    关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服客服 - 联系我们

    [email protected] 2017-2018 www.4mum.com.cn网站版权所有
    经营许可证编号:粤ICP备17046363号-1 
     


    收起
    展开
  • 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03