• 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
    • / 16
    • 下载费用:30 金币  

    如何赌重庆时时彩: 高速外围部件互连交换控制器及其实现方法.pdf

    关 键 词:
    高速 外围 部件 互连 交换 控制器 及其 实现 方法
      专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
    摘要
    申请专利号:

    CN200910226002.1

    申请日:

    2009.11.17

    公开号:

    CN101710314A

    公开日:

    2010.05.19

    当前法律状态:

    授权

    有效性:

    有权

    法律详情: 授权|||实质审查的生效IPC(主分类):G06F 13/42申请日:20091117|||公开
    IPC分类号: G06F13/42 主分类号: G06F13/42
    申请人: 中兴通讯股份有限公司
    发明人: 张一鸣; 吴成百
    地址: 518057 广东省深圳市南山区科技南路55号
    优先权:
    专利代理机构: 北京康信知识产权代理有限责任公司 11240 代理人: 余刚;吴孟秋
    PDF完整版下载: PDF下载
    法律状态
    申请(专利)号:

    CN200910226002.1

    授权公告号:

    101710314B||||||

    法律状态公告日:

    2013.02.27|||2010.09.08|||2010.05.19

    法律状态类型:

    授权|||实质审查的生效|||公开

    摘要

    本发明公开了一种高速外围部件互连交换控制器,用于实现通过PCI?Express协议连接的多个主机控制器之间的通信,包括:配置处理器,用于向多个主机控制器提供PCI?Express交换控制器的地址范围,并根据来自多个主机控制器的地址信息,实现多个主机控制器之间的访问;交换单元,用于实现配置处理器与多个主机控制器、以及多个主机控制器之间的通信。本发明保证了系统工作的高可靠性,实现了连续的不间断工作。

    权利要求书

    1: 一种高速外围部件互连PCI?Express交换控制器,用于实现通过PCI?Express协议连接的多个主机控制器之间的通信,其特征在于,所述PCI?Express交换控制器包括: 配置处理器,用于向所述多个主机控制器提供PCIExpress交换控制器的地址范围,并根据来自所述多个主机控制器的地址信息,实现所述多个主机控制器之间的访问; 交换单元,用于实现所述配置处理器与所述多个主机控制器、以及所述多个主机控制器之间的通信。
    2: 根据权利要求1所述的PCI?Express交换控制器,其特征在于,所述交换单元包括:上行端口和多个下行端口,其中,所述多个下行端口中的每个下行端口连接至所述多个主机控制器中的一个主机控制器,所述交换单元还用于通过所述上行端口与所述配置处理器进行通信,通过所述多个下行端口与所述多个主机控制器进行通信。
    3: 根据权利要求2所述的PCI?Express交换控制器,其特征在于,所述配置处理器还用于配置所述交换单元建立的所述多个下行端口的地址空间和与所述多个下行端口对应的地址映射。
    4: 根据权利要求3所述的PCI?Express交换控制器,其特征在于,所述配置处理器还用于根据来自所述多个主机控制器中的一个主机控制器的地址信息,将该主机控制器的地址映射到所述地址信息对应的主机控制器。
    5: 根据权利要求1所述的PCI?Express交换控制器,其特征在于,所述配置处理器还用于判断是否存在有对工作异常的主机控制器的访问,并在判断结果为是的情况下,取消对工作异常的主机控制器的访问,向请求访问的主机控制器返回访问失败的信息,将所述工作异常的主机控制器对应的地址空间标识为不可用。
    6: 根据权利要求5所述的PCI?Express交换控制器,其特征在于,所述配置处理器还用于将对工作异常的主机控制器的访问切换到其它主机控制器。
    7: 一种PCI?Express交换控制器的实现方法,其特征在于,包括: 向多个主机控制器提供PCI?Express交换控制器的地址范围; 接收来自所述多个主机控制器中请求访问的主机控制器的地址信息,并将该请求访问的主机控制器的地址映射到所述地址信息对应的主机控制器。
    8: 根据权利要求7所述的方法,其特征在于,在向多个主机控制器提供PCI?Express交换控制器的地址范围之前,所述方法还包括: 预先建立与所述多个主机控制器连接的多个下行端口的地址空间和与所述多个下行端口对应的地址映射。
    9: 根据权利要求7所述的方法,其特征在于,在将该请求访问的主机控制器的地址映射到所述地址信息对应的主机控制器之后,所述方法还包括: 判断是否存在有对工作异常的主机控制器的访问; 如果判断结果为是,则取消对工作异常的主机控制器的访问,并向请求访问的主机控制器返回访问失败的信息。
    10: 根据权利要求9所述的方法,其特征在于,如果判断结果为是,则将对工作异常的主机控制器的访问切换到其它主机控制器。

    说明书


    高速外围部件互连交换控制器及其实现方法

        【技术领域】

        本发明涉及通信领域,具体而言,涉及一种高速外围部件互连(Peripheral?Component?Interconnect?Express,简称为PCI?Express)交换控制器及其实现方法。

        背景技术

        目前,基于PCI?Express的存储/服务器硬件一般采用双控架构,图1是根据相关技术的双控架构示意图,如图1所示,整个系统由两个相对独立的主机控制器组成,每个主机控制器的主要架构由数据输入输出接口(Input/Output?Interface)、数据输入输出通道(Input/Output?Channel)、中央处理器(Central?Processing?Unit,简称为CPU)、内存(Cache)组成,其中,数据输入输出接口、输入输出通道和内存的数量不进行限定,均可以有若干组。

        数据的处理分为两种,分别为数据输入和数据输出。

        第一,数据输入:待处理的数据通过某个数据输入输出通道进入系统,经过数据输入输出接口解码为处理器能够识别的数据,交给处理器处理。

        第二,数据输出:经处理器处理过的数据,经数据输入输出接口编码为相应接收设备能够识别的数据,经数据输入输出通道发出。

        两个主机控制器通过支持非透明桥(Non?Transparent?Bridge)功能的PCI?Express接口实现互联。其中,非透明桥功能是PCIExpress的一个附加功能,主要用于对PCI?Express两边的设备实现一种相互隔离的作用,以防止两边的设备出现相互争夺系统资源的问题。由于PCI?Express是一种点对点的互联技术,因此双控架构下两个主机控制器可以通过PCI?Express直连,以实现两者之间的冗余互备、协同工作,内存共享和同步等功能。

        但是,随着目前对服务器/存储设备的性能要求越来越高,特别是一些大数据量高传输速率的应用场合,双控架构的存储设备有时已经很难达到应用要求,因此高端的多控架构越来越受到关注。由于PCI?Express规范中规定PCI?Express是一种点对点互联技术,并不支持菊花链、星型等拓扑结构,这就使得基于PCI?Express的多主机控制器架构不能通过直接套用已经成熟的双控架构的直连模式实现。

        【发明内容】

        针对相关技术中无法实现基于PCI?Express的多主机控制器架构的问题而提出本发明,为此,本发明的主要目的在于提供一种PCIExpress交换控制器及其实现方法,以解决上述问题。

        为了实现上述目的,根据本发明的一个方面,提供了一种高速外围部件互连PCI?Express交换控制器,用于实现通过PCI?Express协议连接的多个主机控制器之间的通信,

        根据本发明的高速外围部件互连PCI?Express交换控制器包括:配置处理器,用于向多个主机控制器提供PCI?Express交换控制器的地址范围,并根据来自多个主机控制器的地址信息,实现多个主机控制器之间的访问;交换单元,用于实现配置处理器与多个主机控制器、以及多个主机控制器之间的通信。

        优选地,交换单元包括:上行端口和多个下行端口,其中,多个下行端口中的每个下行端口连接至多个主机控制器中的一个主机控制器,交换单元还用于通过上行端口与配置处理器进行通信,通过多个下行端口与多个主机控制器进行通信。

        优选地,配置处理器还用于配置交换单元建立的多个下行端口的地址空间和与多个下行端口对应的地址映射。

        优选地,配置处理器还用于根据来自多个主机控制器中的一个主机控制器的地址信息,将该主机控制器的地址映射到地址信息对应的主机控制器。

        优选地,配置处理器还用于判断是否存在有对工作异常的主机控制器的访问,并在判断结果为是的情况下,取消对工作异常的主机控制器的访问,向请求访问的主机控制器返回访问失败的信息,将工作异常的主机控制器对应的地址空间标识为不可用。

        优选地,配置处理器还用于将对工作异常的主机控制器的访问切换到其它主机控制器。

        为了实现上述目的,根据本发明的另一个方面,提供了一种PCIExpress交换控制器的实现方法。

        根据本发明的PCI?Express交换控制器的实现方法包括:向多个主机控制器提供PCI?Express交换控制器的地址范围;接收来自多个主机控制器中请求访问的主机控制器的地址信息,并将该请求访问的主机控制器的地址映射到地址信息对应的主机控制器。

        优选地,在向多个主机控制器提供PCI?Express交换控制器的地址范围之前,上述方法还包括:预先建立与多个主机控制器连接的多个下行端口的地址空间和与多个下行端口对应的地址映射。

        优选地,在将该请求访问的主机控制器的地址映射到地址信息对应的主机控制器之后,上述方法还包括:判断是否存在有对工作异常的主机控制器的访问;如果判断结果为是,则取消对工作异常的主机控制器的访问,并向请求访问的主机控制器返回访问失败的信息。

        优选地,如果判断结果为是,则将对工作异常的主机控制器的访问切换到其它主机控制器。

        通过本发明,采用配置处理器向多个主机控制器提供PCIExpress交换控制器的地址范围并根据来自多个主机控制器的地址信息,实现多个主机控制器之间的访问;以及采用交换单元实现配置处理器与多个主机控制器之间的通信,解决了相关技术中无法实现基于PCI?Express的多主机控制器架构的问题,保证了系统工作的高可靠性,实现了连续的不间断工作。

        【附图说明】

        此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:

        图1是根据相关技术的双控架构示意图;

        图2是根据本发明实施例的PCI?Express交换控制器的结构框图;

        图3是根据本发明实施例的单交换控制器、四主机控制器架构示意图;

        图4是根据本发明实施例的单交换控制器、六主机控制器架构示意图;

        图5是根据本发明实施例的双交换控制器、六主机控制器架构示意图;

        图6是根据本发明实施例的PCIe非透明桥的示意图;

        图7是根据本发明实施例的非透明桥配置空间的示意图;

        图8是根据本发明实施例的PCI?Express交换控制器的实现方法的流程图;

        图9是根据本发明实施例的PCI?Express交换控制器的实现方法的详细流程图。

        【具体实施方式】

        考虑到相关技术中无法实现基于PCI?Express的多主机控制器架构的问题,本发明提供了一种PCI?Express交换控制器及其实现方法,用于实现通过PCI?Express协议连接的多个主机控制器之间的通信,通过采用配置处理器向多个主机控制器提供PCI?Express交换控制器的地址范围并根据来自多个主机控制器的地址信息,实现多个主机控制器之间的访问;以及采用交换单元实现配置处理器与多个主机控制器之间的通信,以保证系统工作的高可靠性并实现连续的不间断工作。

        根据本发明的实施例,提供了一种PCI?Express交换控制器,用于实现通过PCI?Express协议连接的多个主机控制器之间的通信。图2是根据本发明实施例的PCI?Express交换控制器的结构框图,如图2所示,包括PCI?Express配置处理器(以下简称为配置处理器21)和PCI?Express交换单元(以下简称为交换单元22),下面对其进行详细描述。

        配置处理器21,用于预先配置交换单元22建立的多个下行端口的地址空间和与多个下行端口对应的地址映射,向多个主机控制器提供PCI?Express交换控制器的地址范围,然后,主机控制器通过其非透明桥端口获取PCI?Express交换控制器的地址范围,配置处理器21根据来自多个主机控制器的地址信息,实现多个主机控制器之间的访问。

        交换单元22,通过PCI?Express接口连接至配置处理器21,用于实现配置处理器21与多个主机控制器、以及多个主机控制器之间的通信。

        其中,交换单元22的PCI?Express端口包括:上行端口(UpstreamPort)和多个下行端口(Downstream?Port),其中,多个下行端口中的每个下行端口连接至多个主机控制器中的一个主机控制器的非透明桥端口,交换单元22还用于通过上行端口与配置处理器进行通信,通过多个下行端口与多个主机控制器进行通信。

        具体地,在主机控制器发起一个对应其它主机控制器的地址访问之后,上述配置处理器21还用于根据来自该主机控制器的地址信息,将该主机控制器的地址映射到地址信息对应的主机控制器的PCI?Express端口,实现对主机控制器的访问。

        此外,上述配置处理器21还用于判断是否存在有对工作异常的主机控制器的访问,并在判断结果为是的情况下,取消对工作异常的主机控制器的访问,向请求访问的主机控制器返回访问失败的信息(即,返回相应的访问出错信号),将工作异常的主机控制器对应的地址空间标识为不可用。

        并且,上述配置处理器21还用于在交换控制器工作异常时产生出错信号,并将对工作异常的主机控制器的访问切换到其它主机控制器。

        另外,上述配置处理器用于负责PCI?Express协议的处理、热插拔的管理、交换通道的管理以及PCI?Express交换单元的寄存器的管理。这种架构下,可以实现各个主机控制器地位完全对等,并且依靠上行端口上的配置处理器21与各个主机控制器之间消息传递,可以实现系统中所有监控信息被所有主机控制器共享。

        需要说明的是,根据本发明的实施例,主机控制器部分不需要任何改动,主机控制器由数据输入输出通道、数据输入输出控制器、处理器和内存组成,主机控制器部分的PCI?Express端口需要支持的非透明桥(Non?Transparent?Bridge,简称为NTB)功能。

        根据本发明的实施例,交换控制器的数量和交换单元的下行端口的数量是不受限制的,因此本发明具有相当的灵活性,在不需要对主机控制器作任何更改的情况下,只需通过更改高速背板/交换板,即只需更改交换控制器,即可实现系统的扩展增强。下面分为两个方面具体描述上述系统扩展增强实现过程。

        第一,通过选择具有相应数目下行口的交换单元实现相应数量的主机控制器的互联。

        图3是根据本发明实施例的单交换控制器、四主机控制器架构示意图,图4是根据本发明实施例的单交换控制器、六主机控制器架构示意图,如图3、图4所示,选择4个下行端口的交换单元,即可实现4个主机控制器架构,具体架构可参考图3;选择6个下行端口的交换单元,即可实现6个主机控制器架构,具体架构可参考图4。

        第二,通过增加交换控制器,实现多交换控制器架构,使系统数据具备更多的交换路径,实现更快速的数据传输,同时多交换控制器还可以实现相互间的冗余互备,增强系统的强壮度。

        图5是根据本发明实施例的双交换控制器、六主机控制器架构示意图,如图5所示,选择两个交换控制器,每个交换控制器包括具有6个下行端口的交换单元,可以用于实现多交换控制器架构。

        另外,由于交换控制器可以单独做在背板或交换单板上,因此本发明实施例不受主机控制器硬件的影响,只需改变交换单元的规格,即只需改动背板即可实现主机控制器的相应扩展,从而实现存储系统的硬件性能的线性增加和可靠性的增强。

        图6是根据本发明实施例的PCIe非透明桥的示意图,如图6所示,Port?C能够被配置成非透明桥NTB端口。在NTB模式下,Port?C在通过NTB端口相连的背靠背节点,使用了虚拟PCI?Express链接进行了扩展。连接到PCI?PCI透明桥上的节点称为内部节点,连接到外部PCI?Express链接上的节点称为外部节点。PCI?Express事务经过内部节点和外部节点,允许事务穿越两个不同的内存地址域。

        图7是根据本发明实施例的非透明桥配置空间的示意图,如图7所示NTB配置空间,两个NTB节点的配置空间被映射到Bar4,允许访问在每一侧的任何一个PCI?Express?Master。

        在上述实施例的实际应用过程中,可以通过PCI?Express总线实现主机控制器之间的同步,且同步最大带宽可在设计时调节。使用PCI?Express非透明桥功能,可以实现各个主机或控制器之间相对隔离,并且不影响各个主机或控制器之间的高速通讯。具体地,利用主机控制器上自带的DMA功能,使系统能通过PCI?Express总线来实现各个主机或控制器的内存之间实现数据直接同步,而很少占用主机控制器上的CPU资源。通过多个主机控制器上的多个PCIExpress非透明桥端口,可以实现多个交换环路的冗余控制。根据PCI?Express?Switch的原理和特性,将一个带PCI?Express功能的价格便宜的小处理器上连接至Switch的上行端口,将多个主机或控制器连至Switch的下行端口,可以保证各个主机或控制器地位完全对等,并且依靠上行端口上的小处理器与各个主机或控制器之间消息传递,可以实现Switch以及系统中所有监控信息被所有主机或控制器共享。

        根据本发明的实施例,还提出了一种PCI?Express交换控制器的实现方法,图8是根据本发明实施例的PCI?Express交换控制器的实现方法的流程图,如图8所示,包括如下的步骤S802至步骤S804。

        步骤S802,向多个主机控制器提供PCI?Express交换控制器的地址范围。

        在上述步骤S802之前,该方法还包括:预先建立与多个主机控制器连接的多个下行端口的地址空间和与多个下行端口对应的地址映射。

        步骤S804,接收来自多个主机控制器中请求访问的主机控制器的地址信息,并将该请求访问的主机控制器的地址映射到地址信息对应的主机控制器。

        进一步地,上述方法还包括:PCI?Express交换控制器可以判断是否存在有对工作异常的主机控制器的访问;如果判断结果为是,则取消对工作异常的主机控制器的访问,并向请求访问的主机控制器返回访问失败的信息,还可以将对工作异常的主机控制器的访问切换到其它主机控制器。

        下面结合图9对上述PCI?Express交换控制器及其实现方法进行详细描述。

        图9是根据本发明实施例的PCI?Express交换控制器的实现方法的详细流程图,如图9所示,该实施例基于图3的单交换控制器、四主机控制器架构,具体包括如下的步骤S902至步骤S928:

        步骤S902:交换控制器启动以后,交换配置处理器会配置和初始化交换单元(PCI?Express)的上行和下行端口。

        步骤S904:主机控制器启动以后,主机初始化其相应的PCIExpress?NT端口。

        步骤S906:交换控制器根据其下行端口对应的各主机控制器的在位情况,申请地址空间并配置各个PCI?Express端口相应的地址映射。

        步骤S908:主机控制器通过PCI?Express?NT端口获取交换控制器的地址范围(即,NT?Port对应的地址范围)。

        步骤S910:任意主机控制器对其他主机控制器内存的访问被交换控制器转化为相应地址的访问。举例说明,假设主机控制器B需要通过交换控制器A访问主机控制器A的内存中的数据,由于主机控制器B有交换控制器的地址范围,这个地址范围对应所有4个主机控制器的内存地址,因此主机控制器只需要发起一个对应主机控制器A的内存地址的访问即可,交换控制器A根据这个地址可以对应到相应的PCI?Express?Port1端口,然后通过这个端口地址被翻译成主机控制器A内存的实际地址,最终完成对主机控制器A内存的数据访问。

        步骤S912:系统处于正常工作状态。

        步骤S914:系统出现某个主机控制器工作异?;虮话纬?,同时产生相应的出错信号。

        步骤S916和步骤S918:交换控制器判断是否有出错主机控制器的访问,如果判断结果为是,则取消访问操作并返回访问出错信号,没有则继续;如果判断结果为否,则继续进行步骤S920。

        步骤S920:交换控制器将出错的主机控制器对应的地址空间标记为不可用,然后继续进行步骤S912。

        步骤S922:交换控制器A出错,并产生出错信号。

        步骤S924:由交换控制器A切换到交换控制器B。

        步骤S926和步骤S928:各个主机控制器判断是否有通过交换控制器A的访问,如果判断结果为是,则通过交换控制器B重新发起访问,如果判断结果为否,则继续进行步骤S812。

        需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。

        综上所述,根据本发明的上述实施例,提供了一种PCI?Express交换控制器及其实现方法,通过采用配置处理器向多个主机控制器提供PCI?Express交换控制器的地址范围并根据来自多个主机控制器的地址信息,实现多个主机控制器之间的访问;以及采用交换单元实现配置处理器与多个主机控制器之间的通信,实现了在高端存储/服务器中的多主机控制器架构。并且,主机和控制器之间实现高带宽冗余备份控制,每个主机控制器在系统中的相互隔离,地位完全对等,当单个主机控制器出现故障时,故障主机控制器能够被效隔离,其它主机控制器能够迅速接管故障主机控制器的相应处理任务,且在热插拔更换故障主机控制器后,能恢复原来的系统状态,保证系统工作的高可靠性,实现了连续的不间断工作。

        显然,本领域的技术人员应该明白,上述的本发明的各??榛蚋鞑街杩梢杂猛ㄓ玫募扑阕爸美词迪?,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,或者将它们分别制作成各个集成电路???,或者将它们中的多个??榛虿街柚谱鞒傻ジ黾傻缏纺?槔词迪?。这样,本发明不限制于任何特定的硬件和软件结合。

        以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的?;し段е?。

        

    关于本文
    本文标题:高速外围部件互连交换控制器及其实现方法.pdf
    链接地址://www.4mum.com.cn/p-5781957.html
    关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服 - 联系我们

    [email protected] 2017-2018 www.4mum.com.cn网站版权所有
    经营许可证编号:粤ICP备17046363号-1 
     


    收起
    展开
  • 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
  • 大神棋牌app安卓版下载 舟山星空棋牌游戏大厅下载安装 竞彩篮球胜分差计算器 辽宁11选5实时 中国竟彩蓝球 河北快三开奖基本走势图 网上棋牌下载 香港六合彩管家婆 梅花糕赚钱嘛 彩票讲座 特中特是什么生肖 单机麻将游戏电脑版 广东十一选五开奖结果查询 股票推荐排名ie=utf-8 澳彩原版足球指数 18选7开奖结果查询