• 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
    • / 12
    • 下载费用:30 金币  

    万达重庆时时彩: 一种数据库访问方法和系统.pdf

    关 键 词:
    一种 数据库 访问 方法 系统
      专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
    摘要
    申请专利号:

    CN201010137011.6

    申请日:

    2010.03.29

    公开号:

    CN102207937A

    公开日:

    2011.10.05

    当前法律状态:

    驳回

    有效性:

    无权

    法律详情: 发明专利申请公布后的驳回IPC(主分类):G06F 17/30申请公布日:20111005|||实质审查的生效IPC(主分类):G06F 17/30申请日:20100329|||公开
    IPC分类号: G06F17/30 主分类号: G06F17/30
    申请人: 华为技术有限公司
    发明人: 余斌
    地址: 518129 广东省深圳市龙岗区坂田华为基地总部办公楼
    优先权:
    专利代理机构: 北京三友知识产权代理有限公司 11127 代理人: 任默闻
    PDF完整版下载: PDF下载
    法律状态
    申请(专利)号:

    CN201010137011.6

    授权公告号:

    ||||||

    法律状态公告日:

    2014.08.20|||2011.11.23|||2011.10.05

    法律状态类型:

    发明专利申请公布后的驳回|||实质审查的生效|||公开

    摘要

    本发明实施例提供一种数据库访问方法和系统,该方法包括:写操作数据库服务器获取需发布的数据;写操作数据库服务器将需发布的数据写入对应的磁盘阵列中;将写操作数据库服务器对应的磁盘阵列中写入的数据同步到集群中读操作数据库服务器对应的磁盘阵列中;至少通过读操作数据库服务器之一读取写入的数据。本发明可以有效缓解大容量下的门户数据库访问瓶颈。

    权利要求书

    权利要求书
    1.  一种数据库访问方法,其特征在于,所述方法包括:
    写操作数据库服务器获取需发布的数据;
    所述写操作数据库服务器将所述需发布的数据写入对应的磁盘阵列中;
    将所述写操作数据库服务器对应的磁盘阵列中写入的所述数据同步到集群中读操作数据库服务器对应的磁盘阵列中;
    至少通过所述读操作数据库服务器之一读取写入的所述数据。

    2.  如权利要求1所述方法,其特征在于,
    所述写操作数据库服务器和/或读操作数据库服务器为双机。

    3.  如权利要求2所述方法,其特征在于,
    存在多个写操作数据库服务器时,采用一负载均衡服务器将所述需发布的数据写入对应的磁盘阵列中。

    4.  如权利要求1所述方法,其特征在于,所述将所述写操作数据库服务器对应的磁盘阵列中写入的所述数据同步到集群中读操作数据库服务器对应的磁盘阵列中,包括:
    至少采用如下方式之一将所述写操作数据库服务器对应的磁盘阵列中写入的所述数据同步到集群中读操作数据库服务器对应的磁盘阵列中:增量更新方式、全量拷贝方式、定时更新方式。

    5.  如权利要求1所述方法,其特征在于,所述方法还包括:
    当需要对读操作能力扩容时,增加应用服务器和所述读操作数据库服务器,并建立增加的所述应用服务器和所述读操作数据库服务器的映射关系,然后至少通过所述读操作数据库服务器之一读取写入的所述数据。

    6.  一种数据库访问系统,其特征在于,所述系统包括:
    写操作数据库服务器,用于获取需发布的数据,将所述需发布的数据写入对应的磁盘阵列中;
    数据库同步服务器,用于将所述写操作数据库服务器对应的磁盘阵列中写入的所述数据同步到集群中读操作数据库服务器对应的磁盘阵列中;
    至少一读操作数据库服务器,用于读取写入的所述数据。

    7.  如权利要求6所述系统,其特征在于,
    所述写操作数据库服务器和/或读操作数据库服务器为双机。

    8.  如权利要求7所述系统,其特征在于,
    存在多个写操作数据库服务器时,采用一负载均衡服务器将所述需发布的数据写入对应的磁盘阵列中。

    9.  如权利要求6所述系统,其特征在于,所述写操作数据库服务器,用于至少采用如下方式之一将所述写操作数据库服务器对应的磁盘阵列中写入的所述数据同步到集群中读操作数据库服务器对应的磁盘阵列中:增量更新方式、全量拷贝方式、定时更新方式。

    10.  如权利要求6所述系统,其特征在于,所述系统还包括:
    当需要对读操作能力扩容时,增加所述应用服务器和所述读操作数据库服务器,并建立增加的所述应用服务器和所述读操作数据库服务器的映射关系,然后至少通过所述读操作数据库服务器之一读取写入的所述数据。

    说明书

    说明书一种数据库访问方法和系统
    技术领域
    本发明涉及通信网络,尤其涉及一种数据库访问方法和系统。
    背景技术
    在通信网络中,一些核心部件随着业务量的提高,访问量和数据流量的快速增长,其处理能力和计算强度也相应地增大,使得单一的服务器设备根本无法承担。
    在此情况下,一般采用基于负载均衡的集群技术来支撑高容量的并发访问,在集群运行时一般通过一个或者多个前端负载均衡器(Load balancer)将工作负载分发到后端的一组服务器上,从而达到整个系统的高性能和高可用性。
    另外,通信领域中提供的集群都属于HA集群(高可用性集群,High-availability clusters),一般是指当集群中有某个节点失效的情况下,其上的任务会自动转移到其他正常的节点上?;怪缚梢越褐械哪辰诘憬欣胂呶ぴ偕舷?,该过程并不影响整个集群的运行。
    在实现本发明过程中,发明人发现现有技术中至少存在如下问题:基于负载均衡的HA集群技术,由负载均衡服务器来实现用户请求的调度,将数据访问请求分发到不同的DB(data base,数据库)服务器(DB Server),当DB服务器访问性能存在瓶颈的时候,需要增加DB服务器。负载均衡器成为整个系统的关键部件,一旦故障整个系统将不可用,所以需要高可靠性,并作冗余备份,导致成本较高;在大容量情况下,负载均衡器处理能力可能将达到极限,所以从理论上将这种方案的容量是有限的。综上可见,现有技术大容量下的门户数据库存在访问瓶颈问题。
    发明内容
    本发明实施例提供一种数据库访问方法和系统,可以有效缓解大容量下的门户数据库访问瓶颈。
    一方面,本发明实施例提供了一种数据库访问方法,所述方法包括:写操作数据库服务器获取需发布的数据;写操作数据库服务器将需发布的数据写入对应的磁盘阵列中;将写操作数据库服务器对应的磁盘阵列中写入的数据同步到集群中读操作数据库服务器对应的磁盘阵列中;至少通过读操作数据库服务器之一读取写入的数据。
    另一方面,本发明实施例提供了一种数据库访问系统,所述系统包括:写操作数据库服务器,用于获取需发布的数据,将需发布的数据写入对应的磁盘阵列中;数据库同步服务器,用于将写操作数据库服务器对应的磁盘阵列中写入的数据同步到集群中读操作数据库服务器对应的磁盘阵列中;至少一读操作数据库服务器,用于读取写入的数据。
    上述技术方案具有如下有益效果:因为采用数据读写操作分离,分别为读写操作提供不同的数据库服务器,进而根据写或读操作将数据库服务器分别进行配置的技术手段,可以不需要负载均衡服务器来实现用户请求的调度,进而将用户请求分发到不同的数据库服务器,所以达到了有效缓解大容量下的门户数据库访问瓶颈的技术效果。
    附图说明
    为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
    图1为本发明实施例一种数据库访问方法流程图;
    图2为本发明实施例一种数据库访问系统示意图;
    图3为本发明实施例数据库访问系统组网示意图;
    图4为本发明实施例表1情形下的业务流程示意图。
    具体实施方式
    下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例?;诒痉⒚髦械氖凳├?,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明?;さ姆段?。
    实施例一:
    如图1所示,为本发明实施例一种数据库访问方法流程图,该方法包括:
    101、写操作数据库服务器获取需发布的数据;
    可选的,该写操作数据库服务器可以为双机,该写操作数据库服务器可以为单个或多个双机。此套双机可以支撑较大的用户容量。当用户量大,存在多个写操作数据库服务器时,可以采用一负载均衡服务器,实现用户写数据处理速度的提升(此时用户读数据处理请求应该是更大的数量级)。
    102、写操作数据库服务器将需发布的数据写入对应的磁盘阵列中;
    103、将写操作数据库服务器对应的磁盘阵列中写入的数据同步到集群中读操作数据库服务器对应的磁盘阵列中;
    可选的,该读操作数据库服务器可以为双机,该读操作数据库服务器可以为单个或多个双机??裳〉?,至少可以采用如下方式之一将写操作数据库服务器对应的磁盘阵列中写入的数据同步到集群中读操作数据库服务器对应的磁盘阵列中:增量更新方式、全量拷贝方式、定时更新方式等,可以根据业务需要设定各种策略。另外,由于数据都在同一局域网络的各个磁盘阵列中间拷贝,处理速度会非???,不存在性能瓶颈。由于数据同步存在时延,对于实时性要求较高的业务应用场景下,各个应用服务器在提交了些数据请求并成功之后,将提交的数据缓存在本地cache中(保证用户提交了数据之后,可以看到自己的提交结果),后续有策略的进行更新缓存。
    104、至少通过读操作数据库服务器之一读取写入的数据。
    可选的,当需要对读操作能力扩容时,可以增加应用服务器和读操作数据库服务器,并建立增加的应用服务器和读操作数据库服务器的映射关系,然后至少通过读操作数据库服务器之一读取写入的数据。
    本发明方法实施例上述技术方案因为采用数据读写操作分离,分别为读写操作提供不同的数据库服务器,进而根据写或读操作将数据库服务器分别进行配置的技术手段,可以不需要负载均衡服务器来实现用户请求的调度,进而将用户请求分发到不同的数据库服务器,所以达到了有效缓解大容量下的门户数据库访问瓶颈的技术效果。
    实施例二:
    如图2所示,为本发明实施例一种数据库访问系统示意图,该系统包括:
    写操作数据库服务器202,用于获取需发布的数据,将需发布的数据写入对应的磁盘阵列1中;写操作DB服务器202,通信网络中的展示数据均通过此服务器提交并存储在磁盘阵列中,可以只部署一套双机(双机冗余是为了保证系统的可靠性)。此处可以采用应用服务器201,将需发布的数据提交到写操作数据库服务器202;应用服务器(Application Server)201,为用来访问数据库的门户应用服务器,可以有1到N个。
    数据库同步服务器203,用于将写操作数据库服务器202对应的磁盘阵列1中写入的数据同步到集群中读操作数据库服务器204对应的磁盘阵列2中;其负责数据库文件的拷贝,可以实现多种拷贝(同步)策略(实现磁盘阵列(Disk Array)的同步更新):增量更新方式、全量拷贝方式、定时更新方式设置。
    至少一读操作数据库服务器204,用于读取写入的数据。读操作DB服务器204,通信网络中的读请求均通过这一系列的服务器提交,负责返回用户查询请求,可以部署1到N套双机(双机冗余是为了保证系统的可靠性)。
    可选的,写操作数据库服务器202和/或读操作数据库服务器203可以为双机,写操作数据库服务器202和/或读操作数据库服务器203可以为单个或多个双机。当写操作量大,存在多个写操作数据库服务器时,可以采用一负载均衡服务器将所述需发布的数据写入对应的磁盘阵列中。写操作数据库服务器202,用于至少可以采用如下方式之一将写操作数据库服务器202对应的磁盘阵列1中写入的数据同步到集群中读操作数据库服务器204对应的磁盘阵列2中:增量更新方式、全量拷贝方式、定时更新方式。当需要对读操作能力扩容时,可以增加应用服务器和读操作数据库服务器,并建立增加的应用服务器和读操作数据库服务器的映射关系,然后至少通过读操作数据库服务器之一读取写入的数据。
    本发明系统实施例上述技术方案因为采用数据读写操作分离,分别为读写操作提供不同的数据库服务器,进而根据写或读操作将数据库服务器分别进行配置的技术手段,可以不需要负载均衡服务器来实现用户请求的调度,进而将用户请求分发到不同的数据库服务器,所以达到了有效缓解大容量下的门户数据库访问瓶颈的技术效果。
    实施例三:
    目前通信网络中普遍存在门户网站,其是指通向某类综合性互联网信息资源并提供有关信息服务的应用系统。门户网站最初提供搜索引擎和网络接入服务,后来由于市场竞争日益激烈,门户网站不得不快速地拓展各种新的业务类型,希望通过门类众多的业务来吸引和留住互联网用户,以至于目前门户网站的业务包罗万象,成为网络世界的“百货商场”或“网络超市”。其主要特点如下:1)随着业务量的发展,用户量可能成倍数的增加,典型的如Sina、Tianya等网站,用户量可能是千万级甚至是亿级别的,对数据库的性能要求非常高;2)门户系统的使用者中,绝大多数是数据的消费者consumer(消费数据,例如浏览、点播、使用内容数据),小部分用户才是数据的提供者contributor(提供数据,例如管理员发布内容,用户上传内容,UGC,全称为Users Generate Content,也就是用户生成内容的意思),从而导致数据库I/O访问的双向流量存在很大的区别。
    基于上述因素,本发明实施例考虑提出一种新的解决思路:通过数据读写分离(其中数据读取采用对等集群,应用服务器和读操作数据库服务器存在对应关系,该应用服务器不是对应于其他所有的读操作数据库服务器,每组对应关系之间是对等的,没有主从之分)的方式解决大容量下的门户数据库访问瓶颈。
    以某一门户网站为例,典型业务模型如下表1所示:

    表1用户量1000W的业务模型表
    按照如上业务模型,本发明实施例数据库访问系统组网如图3所示,
    App Server(Application Server,应用服务器):为用来访问数据库的门户应用服务器,可以有1到N个;对应于表1情形,可知,150TPS(TransactionPer Second,每秒事务处理量)是每台应用服务器的处理能力,终端用户需要500+20=520TPS;管理员用户需要3TPS,共计需要(520+3)/150≈4,即需要4台(App Server 1~4)。
    DB Sever(数据库服务器)01~02:写操作DB服务器,门户中的展示数据均通过此服务器提交并存储在磁盘阵列中,只部署一套双机(双机冗余是为了保证系统的可靠性);对应于表1情形,管理员用户发布内容和终端用户评论使用,性能要求为15+45=60TPS,共计需要60/500<1,即需要1台双机(即图3中的双机DB Server 01~02)。
    DB Sever n0~n1(其中,n大于0):读操作DB服务器,门户中的读请求均通过这一系列的服务器提交,服务器负责返回用户查询请求,可以部署1到N套双机(双机冗余是为了保证系统的可靠性);对应于表1情形,供终端用户浏览和消费内容实用,性能要求为1500TPS/500=3,即需要3台双机(即图3中的三套双机DB Server11、12、21、22、31、32)。
    DB synchronization Server(数据库同步服务器):负责数据库文件的拷贝,可以实现多种拷贝(同步)策略(实现Disk Array 0到Disk Array 1~n的同步更新):全量拷贝,增量拷贝,拷贝(同步)定时设置。对应于表1情形,增量同步,5分钟同步一次,提供一台DB synchronization Server完成所描述的功能。
    Disk Array(磁盘阵列)0~n:用来存放DB服务器的数据文件,其中DiskArray 0上的数据为用户最新数据,一旦有更新,可以根据策略设定实现和其他的Disk Array(1~n)的同步更新。
    如图4所示,为本发明实施例表1情形下的业务流程示意图,包括:
    401、管理员用户登录管理门户,发布100条门户,该内容通过数据提交请求到DB Server 0x,信息保存到Disk Array 0上;
    402、5分钟后,DB synchronization Server启动数据同步操作,采用增量更新的方式将数据拷贝到Disk Array 1~3中;
    403、终端用户登录到用户门户,不同的用户请求可以被分发到不同的DB Server 1x~nx处理,当用户的缓存刷新的时候这个时候可以看到刚才同步到本地的内容;
    404、App Server上的某终端用户对内容A进行评论,系统和通过数据提交请求到DB Server 0x,同时将提交结果缓存,保证用户继续浏览的时候可以看到自己刚才提交的数据;
    405、DB synchronization Server在一定时间间隔后启动数据同步操作,采用增量更新的方式将数据拷贝到Disk Array 1~3中,即只是将新增加的写入数据同步更新到对应的磁盘阵列中;
    406、所有终端用户登录并刷新后可以看到刚才用户提交的信息。
    进一步考虑,当用户量1000w增加到5000W的时候,这个时候的业务模型为表2所示:

    表2用户量5000W的业务模型表
    此表2情形的模型下,对服务器的性能要求如下:
    应用服务器:终端用户需要2500+100=2600TPS;管理员用户需要15TPS,共计需要(2600+15)/150≈18,即需要18台(App Server 1~18)--原来需要4台,现增加14台,共18台;
    写操作DB服务器:供管理员用户发布内容和终端用户评论使用,性能要求为75+200=275TPS,共计需要275/500<1,即需要1台双机(DB Server 0x双机)--原来需要1台,现仍为1台,保持不变;
    读操作DB服务器:供终端用户浏览和消费内容实用,性能要求为7500TPS/500=15,即需要15台(DB Server 1x~3x双机)---原来需要3台,现增加12台,共15台;
    数据库同步服务器:增量同步,5分钟同步一次,提供一台DBsynchronization Server完成所描述的功能。--原来需要1台,现仍为1台,保持不变。
    通过上述扩展可以看出,当用户增加的时候,大多数只需要增加App Srv和用于处理数据查询的读操作DB服务器,然后绑定App和读操作DB服务器的映射关系;基于此种对等集群的思路,可以不受任何影响的扩展DBServer,比基于RAC(real application clusters真正应用集群)的数据库负载均衡集群方案更加灵活。
    本发明实施例采用数据读写操作分离,可以基于读写操作的特点实现不同的请求处理方案,支持对等集群,便于大容量的门户系统部署,不受负载均衡设备的约束;由于数据访问通过配置绑定的方式来访问,不需要负载均衡器控制,可以节省成本。
    本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关硬件来完成,所述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,包括上述全部或部分步骤,所述的存储介质,如:ROM/RAM、磁盘、光盘等。
    以上所述的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施方式而已,并不用于限定本发明的?;し段?,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的?;し段е?。

    关于本文
    本文标题:一种数据库访问方法和系统.pdf
    链接地址://www.4mum.com.cn/p-5865994.html
    关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服 - 联系我们

    [email protected] 2017-2018 www.4mum.com.cn网站版权所有
    经营许可证编号:粤ICP备17046363号-1 
     


    收起
    展开
  • 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
  • 快乐时时彩 福建十三水怎么玩 捕鱼来了官网停运了 陕西快乐十分走势图下载 快乐飞艇网站 白山在线棋牌 腾讯分分彩开奖结果走势 竞彩足球比分预测 有卖彩票网站吗 三人麻将的打法 广东快乐10分人工计划 高中生炒股赚7200万 脉动棋牌怎么回事 新疆喜乐彩走势图 财神彩票安卓 云南快乐十分出奖遗漏