• 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
    • / 14
    • 下载费用:30 金币  

    重庆时时彩后一算法: 存储系统及系统中磁盘链路的数据处理方法和控制器.pdf

    关 键 词:
    存储系统 系统 磁盘 数据处理 方法 控制器
      专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
    摘要
    申请专利号:

    CN200910252492.2

    申请日:

    2009.12.17

    公开号:

    CN101710298A

    公开日:

    2010.05.19

    当前法律状态:

    授权

    有效性:

    有权

    法律详情: 专利权人的姓名或者名称、地址的变更IPC(主分类):G06F 11/16变更事项:专利权人变更前:成都市华为赛门铁克科技有限公司变更后:华为数字技术(成都)有限公司变更事项:地址变更前:611731 四川省成都市高新区西部园区清水河片区变更后:611731 四川省成都市高新区西部园区清水河片区|||授权|||实质审查的生效IPC(主分类):G06F 11/16申请日:20091217|||公开
    IPC分类号: G06F11/16; G06F13/16 主分类号: G06F11/16
    申请人: 成都市华为赛门铁克科技有限公司
    发明人: 赵行伦
    地址: 611731 四川省成都市高新区西部园区清水河片区
    优先权:
    专利代理机构: 深圳市深佳知识产权代理事务所(普通合伙) 44285 代理人: 彭愿洁;李文红
    PDF完整版下载: PDF下载
    法律状态
    申请(专利)号:

    CN200910252492.2

    授权公告号:

    |||101710298B||||||

    法律状态公告日:

    2015.02.25|||2012.05.30|||2010.07.07|||2010.05.19

    法律状态类型:

    专利权人的姓名或者名称、地址的变更|||授权|||实质审查的生效|||公开

    摘要

    本发明公开了一种存储系统及该系统的数据处理方法和一种控制器,所述系统包括,至少两个磁盘框组,每个磁盘组的首部与一个CNP相连,尾部与另一个CNP相连;至少两个CNP,每个CNP的第一组接口连接至一个磁盘框组的首部,第二组接口连接至另一个磁盘框组的尾部,每个CNP通过其所连接的磁盘框组访问到该磁盘框组内所有磁盘框及磁盘框中的磁盘数据;如果连接至某磁盘框组首部的CNP故障,则连接至该磁盘框组尾部的CNP接管所述磁盘框组,访问所述被接管磁盘框组中的所有磁盘框及所述磁盘框中的磁盘数据;数据交换中心,用于CNP之间交互数据。应用本发明,提高了多控存储系统后端磁盘访问的可靠性。

    权利要求书

    1: 一种存储系统,其特征在于,包括: 至少两个磁盘框组,每个磁盘组的首部与一个控制器对CNP相连,尾部与另一个CNP相连; 至少两个CNP,每个CNP的第一组接口连接至一个磁盘框组的首部,第二组接口连接至另一个磁盘框组的尾部,每个CNP通过其所连接的磁盘框组访问到该磁盘框组内所有磁盘框及磁盘框中的磁盘数据;如果连接至某磁盘框组首部的CNP故障,则连接至该磁盘框组尾部的CNP接管所述磁盘框组,访问所述被接管磁盘框组中的所有磁盘框及所述磁盘框中的磁盘数据; 数据交换中心,用于CNP之间交互数据。
    2: 根据权利要求1所述的存储系统,其特征在于, 所述CNP中每个控制器,包括第一接口和第二接口; 所述第一接口,用于连接一个磁盘框组首部的一个上行接口,访问该磁盘框组内所有磁盘框及磁盘框中的磁盘数据; 所述第二接口,用于连接另一个磁盘框组尾部的一个下行接口,访问该另一磁盘框组内所有磁盘框及磁盘框中的磁盘数据。
    3: 根据权利要求1所述的存储系统,其特征在于, 所述CNP,还用于发送故障信号,所述故障信号中包含故障CNP的标识。
    4: 根据权利要求1所述的存储系统,其特征在于,所述每个CNP的第二组接口为第一组接口的冗余接口。
    5: 一种存储系统中磁盘链路的数据处理方法,其特征在于,包括: 设置每个CNP的第一组接口连接至一个磁盘框组的首部,第二组接口连接至另一个磁盘框组的尾部,每个CNP通过其所连接的磁盘框组访问到该磁盘框组内所有磁盘框及磁盘框中的磁盘数据; 所述方法还包括: 与一个磁盘框组尾部相连CNP作为与该磁盘框组首部相连的CNP的备份CNP; 如果连接至某磁盘框组首部的CNP故障,则连接至该磁盘框组尾部的CNP接管所述磁盘框组,访问所述被接管磁盘框组中的所有磁盘框及所述磁盘框中的磁盘数据。
    6: 根据权利要求5所述的方法,其特征在于,所述方法还包括:所述连接至该磁盘框组尾部的CNP发送故障信号,所述故障信号中包含故障CNP的标识。
    7: 根据权利要求5所述的方法,其特征在于,所述每个CNP的第二组接口为第一组接口的冗余接口。
    8: 一种控制器,其特征在于,包括: 第一接口,用于连接一个磁盘框组首部的一个上行接口; 第二接口,用于,连接另一个磁盘框组尾部的一个下行接口; 控制???,用于通过所述第一接口控制并访问该第一接口所连接的磁盘框组内所有磁盘框及磁盘框中的磁盘数据;通过所述第二接口控制并访问该第二接口所连接的磁盘框组内所有磁盘框及磁盘框中的磁盘数据。
    9: 根据权利要求8所述的控制器,其特征在于, 所述控制???,还用于发送故障信号,所述故障信号中包含故障CNP的标识。
    10: 根据权利要求8所述的控制器,其特征在于,所述第二接口作为所述第一接口的冗余接口。

    说明书


    存储系统及系统中磁盘链路的数据处理方法和控制器

        【技术领域】

        本发明涉及数据存储技术领域,特别涉及一种存储系统及系统中磁盘链路的数据处理方法和控制器。

        背景技术

        目前存储系统中,多采用多控制器来实现,每两个控制器组成一个控制器对(CNP,Controller?Node?Pair),每个CNP下挂接磁盘框,现有存储系统的后端为磁盘框,为了扩大存储容量通过级联磁盘框的方式来实现。

        现有的存储系统中的数据交换中心(DSC,DATA?SWITCH?CENTER)主要完成各个控制器之间的数据交换,每个CNP下通常级联多台磁盘框(DE,DISK?ENCLOSUER),从而完成存储中大容量的特性。每个CNP中的两个控制器相互独立,互为冗余,且定时执行握手、同步心跳等操作;当一个控制器故障后,另外一个接替故障的控制器继续工作,从而提高系统的可靠性,另外为了提高整个系统的性能,现有存储阵列多会采用虚拟化技术,也就是将业务数据打散,将业务数据相对均匀的分布在归属在各个CNP下的磁盘中。

        现有存储系统中,每个磁盘框提供两个上行口(P1,P2),两个下行口(P3,P4),两个上行口(P1,P2)用于连接到CNP的两个磁盘框接口或者级联上一级磁盘框,两个下行口(P3,P4)用于级联下一级磁盘框。每个磁盘框框内包括两个磁盘框扩展器(Exp/CTS,Expander/Cut?Through?Switch),控制器可以通过每个Exp/CTS都可以访问到磁盘框内部的所有的磁盘。

        不同CNP之间是通过DSC交换的方式进行的,例如,归属于不同CNP的控制器之间是通过DSC实现交互的。

        发明人在实现现有技术的过程中发现现有技术至少存在如下缺陷:

        虽然在同一个CNP上,任何一条访问路径故障,CNP仍然可以通过另外一条访问路径进行访问,各个CNP之间仍然可以通过DSC进行不同CNP之间进行磁盘访问。但是,如果某个CNP所属的两个控制器同时出现故障,则归属于该CNP下的所有的磁盘都不能被访问,在业务数据虚拟化下,由于很多业务都可能在归属于故障CNP下的磁盘中,因此某个CNP故障后,会直接影响整个系统业务,进而导致整个存储系统瘫痪,业务不能运行。

        【发明内容】

        本发明实施例提供一种存储系统及系统中磁盘链路的数据处理方法和控制器,实现在CNP中的两个控制器同时故障,系统业务仍能正常运行,提高系统可靠性。

        本发明实施例提供了一种存储系统,包括:

        至少两个磁盘框组,每个磁盘组的首部与一个CNP相连,尾部与另一个CNP相连;

        至少两个CNP,每个CNP的第一组接口连接至一个磁盘框组的首部,第二组接口连接至另一个磁盘框组的尾部,每个CNP通过其所连接的磁盘框组访问到该磁盘框组内所有磁盘框及磁盘框中的磁盘数据;如果连接至某磁盘框组首部的CNP故障,则连接至该磁盘框组尾部的CNP接管所述磁盘框组,访问所述被接管磁盘框组中的所有磁盘框及所述磁盘框中的磁盘数据;

        数据交换中心,用于CNP之间交互数据。

        本发明实施例还提供了一种存储系统中磁盘链路的数据处理方法,包括:

        设置每个CNP的第一组接口连接至一个磁盘框组的首部,第二组接口连接至另一个磁盘框组的尾部,每个CNP通过其所连接的磁盘框组访问到该磁盘框组内所有磁盘框及磁盘框中的磁盘数据;

        所述方法还包括:

        与一个磁盘框组尾部相连CNP作为与该磁盘框组首部相连的CNP的备份CNP;

        如果连接至某磁盘框组首部的CNP故障,则连接至该磁盘框组尾部的CNP接管所述磁盘框组,访问所述被接管磁盘框组中的所有磁盘框及所述磁盘框中的磁盘数据。

        本发明实施例还提供了一种控制器,包括:

        第一接口,用于连接一个磁盘框组首部的一个上行接口;

        第二接口,用于,连接另一个磁盘框组尾部的一个下行接口;

        控制???,用于通过所述第一接口控制并访问该第一接口所连接的磁盘框组内所有磁盘框及磁盘框中的磁盘数据;通过所述第二接口控制并访问该第二接口所连接的磁盘框组内所有磁盘框及磁盘框中的磁盘数据。

        应用本发明实施例,将现有磁盘框的上行接口和下行接口分别连接到不同的CNP上,使得两个CNP都可访问到磁盘框内部的任意一个磁盘数据,解决了在CNP中的两个控制器同时故障后,整个存储系统瘫痪地问题,保证了在CNP中的两个控制器同时故障,系统业务仍能正常运行,有效的提高了多控存储系统后端磁盘访问的可靠性。

        【附图说明】

        为了更清楚地说明现有技术和本发明实施例中的技术方案,下面对现有技术和实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

        图1是现有的不同CNP之间的磁盘数据访问路径示意图;

        图2是现有的磁盘框与CNP连接的示意图;

        图3是根据本发明实施例的一个磁盘框连接两个CNP的连接示意图;

        图4是基于图3所示实施例的数据访问方式示意图;

        图5是根据本发明实施例的一种存储系统的连接示意图;

        图6是基于图5所示实施例的某个CNP故障的磁盘访问方式示意图;

        图7是根据本发明实施例的另一种存储系统的连接示意图;

        图8是基于图7所示实施例的某个CNP故障的磁盘访问方式示意图;

        图9是根据本发明实施例的一种存储系统中数据处理方法流程图;

        图10是根据本发明实施例的一种控制器结构示意图。

        【具体实施方式】

        下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例?;诒痉⒚髦械氖凳├?,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明?;さ姆段?。

        参见图1,其是现有的存储系统的磁盘组网方式示意图。A1-B1,A2-B2......An-Bn代表存储系统中的控制器对(CNP);数据交换中心(DSC,DATA?SWITCH?CENTER)主要完成各个控制器之间的数据交换,每个CNP(An-Bn)下通常级联多台磁盘框(DE,DISK?ENCLOSUER),从而完成存储中大容量的特性。不同CNP之间的磁盘数据访问路径如图1所示,不同CNP之间是通过DSC交换的方式进行的,例如,图1中的归属于不同CNP的A2控制器与A3控制器之间是通过DSC实现交互的。

        参见图2,其是现有的磁盘框与CNP连接的示意图。在图2上,CNP可以通过“访问路径1”和“访问路径2”访问某个磁盘框上的磁盘,如果某一条访问路径故障如断开或者接触不良,CNP仍然可以通过另外一条路径访问磁盘,从而保证业务可以正常运作而不中断。

        现有的DE有4个磁盘框接口,分别为两个上行接口(P1,P2)和两个下行接口(P3,P4),本发明实施例将现有磁盘框的上行接口和下行接口分别连接到不同的CNP上,使得两个CNP都可访问到磁盘框内部的任意一个磁盘数据。参见图3,其是根据本发明实施例的一个磁盘框连接两个CNP的连接示意图。如图3所示,上行接口P1,P2连接到由A1-B1构成的CNP上,P3,P4连接到由A2-B2构成的CNP上。

        参见图4,其是基于图3所示实施例的数据访问方式示意图,由A1-B1构成的CNP和由A2-B2构成的CNP都可访问到磁盘框内部的任意一个磁盘上的数据。

        基于上述实现方式,本发明实施例还提供了一种存储系统,参见图5,图5是根据本发明实施例的一种存储系统的连接示意图,本实施例中,归属于一个CNP下的多个磁盘框被称为一个磁盘框组,通常,一个磁盘框组内包括多个磁盘框,该多个磁盘框首尾顺序依次相连接,也可以理解为该多个磁盘框依次串联;在极端的情况下,一个磁盘框组内也可以只包括一个磁盘框。每个磁盘框组包括首部和尾部,通常,一个磁盘框组与外界连接的两端分别称为首部和尾部。图5所示系统具体包括:

        至少两个磁盘框组,每个磁盘组的首部与一个CNP相连,尾部与另一个CNP相连;

        至少两个CNP,每个CNP的第一组接口连接至一个磁盘框组的首部,第二组接口连接至另一个磁盘框组的尾部,每个CNP通过其所连接的磁盘框组访问到该磁盘框组内所有磁盘框及磁盘框中的磁盘数据;如果连接至某磁盘框组首部的CNP故障,则连接至该磁盘框组尾部的CNP接管所述磁盘框组,访问所述被接管磁盘框组中的所有磁盘框及所述磁盘框中的磁盘数据;

        数据交换中心,用于CNP之间交互数据。

        每个CNP包括两个控制器,所述每个控制器,包括第一接口和第二接口,

        所述第一接口,用于连接一个磁盘框组首部的一个上行接口,访问该磁盘框组内所有磁盘框及磁盘框中的磁盘数据;

        所述第二接口,用于连接另一个磁盘框组尾部的一个下行接口,访问该另一磁盘框组内所有磁盘框及磁盘框中的磁盘数据。

        上述CNP,还用于发送故障信号,所述故障信号中包含故障CNP的标识。

        上述每个CNP的第二组接口为第一组接口的冗余接口。

        在图5所示实施例中,由A1-B1构成的CNP的第一组接口(a1’,b1”)与磁盘框组1的首部相连,第二组接口(a1”,b1’)与磁盘框组2的尾部相连,由A2-B2构成的CNP的第一组接口(a2’,b2”)与磁盘框组2的首部相连,第二组接口(a2”,b2’)与磁盘框组1的尾部相连,这样,由A1-B1构成的CNP与由A2-B2构成的CNP形成了互为备份的CNP,这两个CNP都可访问到磁盘框组1和磁盘框组2中所有的磁盘框及磁盘框内磁盘的数据。

        图6是基于图5所示实施例的某个CNP故障的磁盘访问方式示意图,如图6所示,如果由A1-B1构成的CNP中两个控制器同时发生故障,则由A2-B2构成的CNP可接管磁盘框组1,访问磁盘框组1中的所有磁盘框及所述磁盘框中的磁盘数据,从而避免了在业务数据虚拟化情况下,由于一个CNP故障而导致整个存储系统瘫痪的问题,保证了业务不中断,提高了系统的可靠性。此外,上述由A2-B2构成的CNP还可以发送故障信号,该故障信号中包含故障CNP(如A1-B1)的标识,以提示维护人员更换或维修故障CNP。

        参见图7,其是根据本发明实施例的另一种存储系统的连接示意图,本实施例中,由A1-B1构成的CNP的第一组接口(a1’,b1”)与磁盘框组1的首部相连,第二组接口(a1”,b1’)与磁盘框组n的尾部相连;由A2-B2构成的CNP的第一组接口(a2’,b2”)与磁盘框组2的首部相连,第二组接口(a2”,b2’)与磁盘框组1的尾部相连;由A3-B3构成的CNP的第一组接口(a3’,b3”)与磁盘框组3的首部相连,第二组接口(a3”,b3’)与磁盘框组2的尾部相连;......由An-Bn构成的CNP的第一组接口(an’,bn”)与磁盘框组n的首部相连,第二组接口(an”,bn’)与磁盘框组n-1的尾部相连;这样,由A2-B2构成的CNP可以作为由A1-B1构成的CNP的备份,由A3-B3构成的CNP可以作为由A2-B2构成的CNP的备份,......由An-Bn构成的CNP可以作为由An-1-Bn-1构成的CNP的备份;每一个磁盘框组都可以由两个CNP访问到。

        图8是基于图7所示实施例的某个CNP故障的磁盘访问方式示意图,如图8所示,如果某个CNP故障例如由A1-B1构成的CNP中两个控制器同时发生故障,则由A2-B2构成的CNP可接管磁盘框组1,访问磁盘框组1中的所有磁盘框及所述磁盘框中的磁盘数据,从而避免了在业务数据虚拟化情况下,由于一个CNP故障而导致整个存储系统瘫痪的问题,保证了业务不中断,提高了系统的可靠性。此外,上述由A2-B2构成的CNP还可以发送故障信号,该故障信号中包含故障CNP(如A1-B1)的标识,以提示维护人员更换或维修故障CNP。

        需要说明的是,在图5和图6所示实施例,由A1-B1构成的CNP的第一组接口是a1’和b1”,第二组接口是a1”和b1’,在其他实施例中,由A1-B1构成的CNP的第一组接口也可以是a1’和b1’,第二组接口是a1”和b1”;或者,由A1-B1构成的CNP的第一组接口也可以是a1”和b1’,第二组接口是a1”和b1”;或者,由A1-B1构成的CNP的第一组接口也可以是a1”和b1”,第二组接口是a1”和b1’。也就是说,A1控制器上的两个接口和B2控制器上的两个接口可以任意组合。

        本发明实施例还提供了一种存储系统中数据处理方法,参见图9,所述方法具体包括:

        步骤901,设置每个CNP的第一组接口连接至一个磁盘框组的首部,第二组接口连接至另一个磁盘框组的尾部,每个CNP通过其所连接的磁盘框组访问到该磁盘框组内所有磁盘框及磁盘框中的磁盘数据;

        这样,与一个磁盘框组尾部相连CNP作为与该磁盘框组首部相连的CNP的备份CNP;

        步骤902,如果连接至某磁盘框组首部的CNP故障,则连接至该磁盘框组尾部的CNP接管所述磁盘框组,访问所述被接管磁盘框组中的所有磁盘框及所述磁盘框中的磁盘数据。

        上述方法还包括:所述连接至该磁盘框组尾部的CNP发送故障信号,所述故障信号中包含故障CNP的标识。

        上述每个CNP的第二组接口为第一组接口的冗余接口。

        对于方法实施例而言,由于其基本相似于系统实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。

        应用本发明实施例提供的存储系统中磁盘链路的连接方法,解决了在CNP中的两个控制器同时故障后,整个存储系统瘫痪的问题,保证了在CNP中的两个控制器同时故障时,系统业务仍能正常运行,有效的提高了多控存储系统后端磁盘访问的可靠性。此外,系统还可以提醒维护人员故障的CNP。

        本发明实施例还提供了一种控制器,如图10所示,包括:

        第一接口1001,用于连接一个磁盘框组首部的一个上行接口;

        第二接口1002,用于,连接另一个磁盘框组尾部的一个下行接口;

        控制???003,用于通过所述第一接口控制并访问该第一接口所连接的磁盘框组内所有磁盘框及磁盘框中的磁盘数据;通过所述第二接口控制并访问该第二接口所连接的磁盘框组内所有磁盘框及磁盘框中的磁盘数据。

        上述控制???003,还用于发送故障信号,所述故障信号中包含故障CNP的标识。

        上述第二接口作为所述第一接口的冗余接口。

        需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个......”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

        本领域普通技术人员可以理解实现上述方法实施方式中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,所述的程序可以存储于计算机可读取存储介质中,这里所称得的存储介质,如:ROM/RAM、磁碟、光盘等。

        以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的?;し段?。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的?;し段?。

    关于本文
    本文标题:存储系统及系统中磁盘链路的数据处理方法和控制器.pdf
    链接地址://www.4mum.com.cn/p-5782058.html
    关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服 - 联系我们

    [email protected] 2017-2018 www.4mum.com.cn网站版权所有
    经营许可证编号:粤ICP备17046363号-1 
     


    收起
    展开
  • 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
  • 闲来贵州手机麻将官网 双色球开奖号 足彩进球彩预测 南粤风26选5历史开奖 最新娱乐棋牌软件排名 广西福利彩票中奖规则 两元网福彩3d走势 闲来贵州手机麻将官网 哪里有快乐赛车彩票计划 极速11选5是国家开的吗 cba山东高速最新消息 彩票中奖者视频直播 天津快乐十分遗漏统计 陕西快乐10分首页 新11选5 11选5线上计划