• 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
    • / 10
    • 下载费用:30 金币  

    重庆时时彩是违法的: 基于移动互联网海量数据的服务层系统及其方法.pdf

    关 键 词:
    基于 移动 互联网 海量 数据 服务 系统 及其 方法
      专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
    摘要
    申请专利号:

    CN201611177947.5

    申请日:

    2016.12.19

    公开号:

    CN106777142A

    公开日:

    2017.05.31

    当前法律状态:

    实审

    有效性:

    审中

    法律详情: 实质审查的生效IPC(主分类):G06F 17/30申请日:20161219|||公开
    IPC分类号: G06F17/30; G06F9/44 主分类号: G06F17/30
    申请人: 武汉虹旭信息技术有限责任公司
    发明人: 严雄伟; 龚德光
    地址: 430074 湖北省武汉市洪山区邮科院路88号
    优先权:
    专利代理机构: 武汉宇晨专利事务所 42001 代理人: 黄瑞棠
    PDF完整版下载: PDF下载
    法律状态
    申请(专利)号:

    CN201611177947.5

    授权公告号:

    |||

    法律状态公告日:

    2017.06.23|||2017.05.31

    法律状态类型:

    实质审查的生效|||公开

    摘要

    本发明公开了一种基于移动互联网海量数据的服务层系统及其方法,属于大数据领域。本系统包括依次连接的ETL(100)、数据中心(200)、服务层平台(300)和业务系统(400);所述的数据中心(200)是海量数据存储与处理的核心部件,包括数据存储中心(210)和数据计算中心(220);所述的服务层平台(300)是数据中心(200)对外提供服务的窗口,包括底层数据访问服务??椋?10)、业务接口??椋?20)和控制??椋?30);本方法是:①业务系统注册;②业务系统查询。本发明能够对所有移动互联网的海量数据进行统一查询接口,为各应用系统统一查询服务提供技术支持。

    权利要求书

    1.一种基于移动互联网海量数据的服务层系统,其特征在于:
    包括依次连接的ETL(100)、数据中心(200)、服务层平台(300)和业务系统(400);
    所述的ETL(100)是指各类移动互联网数据源提取和清洗后转换技术的总称;
    所述的数据中心(200)是海量数据存储与处理的核心部件,包括数据存储中心(210)和
    数据计算中心(220);
    数据存储中心(210)包括Linux(211)、HBase(212)、Solr(213)、MySQL(214)和Hadoop
    (215);
    数据计算中心(220)包括SQL(221)、Hive(222)、Mahout(223)和Spark(224);
    所述的服务层平台(300)是数据中心(200)对外提供服务的窗口,包括底层数据访问服
    务??椋?10)、业务接口??椋?20)和控制??椋?30);
    底层数据访问服务??椋?10)根据数据中心(200)通用API获取各类数据;
    业务接口??椋?20)包括通用业务接口(321)、原始业务接口(322)和基础业务接口
    (323);通用业务接口(321)和原始业务接口(322)分别与基础业务接口(323)交互;
    提供原始业务接口(322)、基础业务接口(323)以及通用业务接口(321)供上层应用系
    统(400)调用访问;
    控制??椋?30)用于接入控制,只有经过授权(332)的业务系统才能提供访问接口的服
    务,并对操作的动作记录日志(331);否则不能提供服务;
    所述的业务系统(400)包括第1业务系统(410)、第2业务系统(420)、……第N业务系统
    (4N0),N是自然数,N≤100。
    2.基于权利要求1所述系统的服务方法,其特征在于包括下列步骤:
    ①业务系统注册
    业务系统访问服务层平台(300),需要先在服务层平台(300)中注册,生成系统的唯一
    号;
    ②业务系统查询;
    所述的业务系统注册的流程如下:
    A、接收业务系统注册请求(10);
    B、判断业务系统传入的应用名是否存在(11),是则请求失败(13)后
    跳转到步骤D,否则进入步骤C;
    C、分配系统唯一号给业务系统(12);
    D、结束(14);
    所述业务系统查询的工作流程如下:
    a、收到业务系统请求(20);
    b、判断业务系统是否注册(21),是则进入步骤c,否则即请求失败(29)后跳转到步骤j;
    c、判断业务系统参数是否合法(22),是则进入步骤d,否则即请求失败(29)后跳转到步
    骤j;
    d、判断AppKey、 会话、方法版本号和请求方式是否合法(23),是则进入步骤e,否则即
    请求失败(29)后跳转到步骤J;
    e、判断业务参数校验流程是否合法(24),是则进入步骤f,否则即请求失败(29)后跳转
    到步骤j;
    f、判断校验业务是否受限访问、会话是否超过频次、上传文件大小是否超过限制(25),
    是则进入步骤g,否则即请求失败(29)后跳转到步骤j;
    g、请求业务层接口(26);
    h、请求DAO层接口(27);
    i、请求成功(28);
    j、结束(30)。

    说明书

    基于移动互联网海量数据的服务层系统及其方法

    技术领域

    本发明属于大数据领域,尤其涉及一种基于移动互联网海量数据的服务层系统及
    其方法。

    背景技术

    近年来,随着移动互联网上网速度的不断提升和资费价格的不断下降,移动互联
    网数据成爆炸性的生长,如何存储这些数据,如何在这些数据中快速提取到用户所需要的
    信息已成为一个热门课题。移动互联网拥有的数据源丰富多样,包括各种手机客户端产生
    的业务数据、网页、音频数据、视频文件和图片等结构化和非结构化的一些数据。针对不同
    种类数据的存储也出现了各类SQL以及NoSQL数据库。

    在互联网行业,业务营销人员如果需要在海量数据中要查找到有用的信息,需要
    奔走于各个业务部门,查询各套系统,大大影响了工作效率。

    发明内容

    本发明的目的在于克服现有技术中存在的缺点和不足,提供一种基于移动互联网
    海量数据的服务层系统及其方法,实现以下功能:①统一各种异构数据库(SQL/NoSQL)的访
    问方式;②数据表的自定义(用户自定义表视图)。

    实现本发明目的的技术方案是:

    一、基于移动互联网海量数据的服务系统(简称系统)

    本系统包括依次连接的ETL、数据中心、服务层平台和业务系统。

    二、基于移动互联网海量数据的服务方法(简称方法)

    本方法包括下列步骤:

    ①业务系统注册

    业务系统访问服务层平台300,需要先在服务层平台300中注册,生成系统的唯一号。

    ②业务系统查询。

    本发明具有下列优点和积极效果:

    ①提供了通用的服务层访问平台,按照标准的http post和get方法调用接口方法,提
    供标准的json格式数据返回;

    ②处理速度快,且具有容错性;

    ③通过整合Hadoop分布式文件系统、Solr全文检索系统、ibatis等数据库接口和服务
    层平台融合等技术,为其它大数据技术之间的??榛弦约巴骋徊僮鹘涌谔峁┝瞬慰?。

    总之,本发明能够对所有移动互联网的海量数据进行统一查询接口,为各应用系
    统统一查询服务提供技术支持。

    附图说明

    图1是本系统的结构方框图;

    图2是数据中心的结构方框图;

    图3是服务中心的结构方框图;

    图4是系统注册流程图;

    图5是系统查询请求流程图。

    其中:

    100—ETL;

    200—数据中心,

    210—数据存储中心,

    201—Linux(本地文件系统),202—HBase(海量数据库),

    203—Solr(全文数据库), 204—MySQL(业务数据库),

    205—Hadoop;

    220—数据计算中心,

    211—SQL(查询??椋?,212—Hive(统计分析??椋?,

    213—Mahout(数据挖掘??椋?,214—Spark(数据处理??椋?;

    300—服务层平台,

    310—底层数据访问服务???,

    320—业务接口???,

    321—通用业务接口,322—原始业务接口,323—基础业务接口;

    330—控制???,

    331—日志,332—授权;

    400—业务系统,

    410—第1业务系统,

    420—第2业务系统,……

    4N0—第N业务系统,其中N≤100。

    英译汉

    1、Storm:是一个免费开源、分布式、高容错的实时计算系统。Storm令持续不断的流计
    算变得容易,弥补了Hadoop批处理所不能满足的实时要求;

    2、Kafka:是一种高吞吐量的分布式发布订阅消息系统;

    3、HDFS:Hadoop的分布式文件系统;

    4、Flume:是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和
    传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提
    供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。

    5、Linux:一种操作系统;

    6、Hadoop:一种能够对大量数据进行分布式处理的软件框架;

    7、MySQL:MySQL是一个关系型数据库管理系统;

    8、HBase:一种分布式的,面向列的Hadoop数据库;

    9、Solr:一种基于Lucene的搜索服务器;

    10、Hive:是基于Hadoop的一种数据仓库工具,可以将结构化的数据文件映射为一张数
    据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行;

    11、Spark:一种快速的大数据分布式处理引擎;

    12、Mahout: ASF旗下的一种开源项目,提供一些可扩展的机器学习领域经典算法的实
    现,旨在帮助开发人员更加方便快捷地创建智能应用程序;

    13、Zookeeper:是一种分布式的,开放源码的分布式应用程序协调服务,它是一个为分
    布式应用提供一致性服务的软件。

    具体实施方式

    以下结合附图和实施例详细说明:

    一、系统

    1、总体

    如图1,本系统包括依次连接的ETL100、数据中心200、服务层平台300和业务系统400。

    2、功能部件

    1)ETL100

    ETL100是指各类移动互联网数据源提取和清洗后转换技术的总称。

    2)数据中心200

    如图2,数据中心200是海量数据存储与处理的核心部件,包括数据存储中心210和数据
    计算中心220;

    数据存储中心210包括Linux-211、HBase-212、Solr-213、MySQL-214和Hadoop-215;

    数据计算中心220包括SQL-221、Hive-222、Mahout-223和Spark-224。

    3)服务层平台300

    服务层平台300是数据中心200对外提供服务的窗口,包括底层数据访问服务???10、
    业务接口???20和控制???30;

    底层数据访问服务???10根据数据中心200通用API获取各类数据;

    业务接口???20包括通用业务接口321、原始业务接口322和基础业务接口323;通用
    业务接口321和原始业务接口322分别与基础业务接口323交互。

    提供原始业务接口322、基础业务接口323以及通用业务接口321供上层应用系统
    400调用访问。

    控制???30用于接入控制,只有经过授权332的业务系统才能提供访问接口的服
    务,并对操作的动作记录日志331;否则不能提供服务。

    4)业务系统400

    如图1,业务系统400包括第1业务系统410、第2业务系统420、……第N业务系统4N0,N是
    自然数,N≤100。

    2、工作机理

    本系统接收到移动互联网的原始数据文件之后,ETL100按照指定的标准对数据进行提
    取、清洗、存入到数据中心200中;数据中心200提供各种数据算法模型和数据挖掘模型,对
    数据进行深度挖掘以及统计分析;服务层平台300为上层业务系统400提供基础服务,上层
    应用系统400按需通过HTTP GET/POST调用服务层平台300的通用业务接口321、原始业务接
    口322、基础业务接口323获取数据中心200各类数据。

    二、方法

    *步骤①:业务系统注册

    如图4,业务系统注册流程如下:

    A、接收业务系统注册请求-10;

    B、判断业务系统传入的应用名是否存在-11,是则请求失败-13后

    跳转到步骤D,否则进入步骤C;

    C、分配系统唯一号给业务系统-12

    D、结束-14。

    *步骤②:业务系统查询

    如图5,业务系统查询的工作流程如下:

    a、收到业务系统请求-20;

    b、判断业务系统是否注册-21,是则进入步骤c,否则即请求失败-29后跳转到步骤j;

    c、判断业务系统参数是否合法-22,是则进入步骤d,否则即请求失败-29后后跳转到步
    骤j;

    d、判断AppKey、 会话、方法版本号和请求方式是否合法-23,是则进入步骤e,否则即请
    求失败-29后跳转到步骤j;

    e、判断业务参数校验流程是否合法-24,是则进入步骤f,否则即请求失败-29后跳转到
    步骤j;

    f、判断校验业务是否受限访问、会话是否超过频次、上传文件大小是否超过限制-25,
    是则进入步骤g,否则即请求失败-29后跳转到步骤j;

    g、请求业务层接口-26;

    h、请求DAO层接口-27;

    i、请求成功-28;

    j、结束-30。

    关于本文
    本文标题:基于移动互联网海量数据的服务层系统及其方法.pdf
    链接地址://www.4mum.com.cn/p-6021355.html
    关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服 - 联系我们

    [email protected] 2017-2018 www.4mum.com.cn网站版权所有
    经营许可证编号:粤ICP备17046363号-1 
     


    收起
    展开
  • 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
  • 双面盘怎么玩 加拿大28大单小双稳赚 聚富视界安全吗 软件 万人棋牌官网下载 时时彩前二组选稳赚 双色球开奖结果 pk10平刷人工计划网页 北京pk10现在直播 新疆时时开奖走趋图 欢乐生肖平台哪个好 欢乐生肖官方开奖 北京pk10冠军一码计划 pk10技巧万能码规律 时时彩计划软件苹果手机版 十二生肖本期开奖结果 赛车pk10高手经验心得