• 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03
    • / 30
    • 下载费用:30 金币  

    重庆时时彩快开游戏: 用于诊断运行在云环境中的软件产品的问题的方法和装置.pdf

    摘要
    申请专利号:

    重庆时时彩单双窍门 www.4mum.com.cn CN201210424375.1

    申请日:

    2012.10.30

    公开号:

    CN103795749A

    公开日:

    2014.05.14

    当前法律状态:

    授权

    有效性:

    有权

    法律详情: 授权|||实质审查的生效IPC(主分类):H04L 29/08申请日:20121030|||公开
    IPC分类号: H04L29/08; H04L12/24; G06F11/36 主分类号: H04L29/08
    申请人: 国际商业机器公司
    发明人: 倪勇; 黎俊鸿; 王海涛; 牛爱杰; 王文俊
    地址: 美国纽约
    优先权:
    专利代理机构: 北京市中咨律师事务所 11247 代理人: 张亚非;于静
    PDF完整版下载: PDF下载
    法律状态
    申请(专利)号:

    CN201210424375.1

    授权公告号:

    ||||||

    法律状态公告日:

    2017.03.01|||2014.06.11|||2014.05.14

    法律状态类型:

    授权|||实质审查的生效|||公开

    摘要

    本发明提供了一种用于诊断运行在云环境中的软件产品的问题的方法和相应装置,该方法包括:接收来自所述云环境中的节点上部署的诊断代理的关于所监视的所述软件产品的运行中的问题;捕获包含该软件产品的所述云环境,并将该云环境部署在诊断云中,且该步骤包括:将所述云环境中的每个节点的映象部署在所述诊断云中;以及使用用于部署在云环境中的集群系统的相关配置数据对所述诊断云中的每个节点进行配置。本发明的方法和装置可以诊断运行在云环境中的软件产品的问题,并重建云环境来便利问题的诊断。

    权利要求书

    权利要求书
    1.  一种用于诊断运行在云环境中的软件产品的问题的方法,包括:
    接收来自所述云环境中的节点上部署的诊断代理的关于所监视的所述软件产品的运行中的问题;
    捕获包含该软件产品的所述云环境,并将该云环境部署在诊断云中,且该步骤包括:
    将所述云环境中的每个节点的映象部署在所述诊断云中;以及
    使用用于部署在云环境中的集群系统的相关配置数据对所述诊断云中的每个节点进行配置。

    2.  根据权利要求1的方法,其中,所述捕获包含该软件产品的所述云环境,并将该云环境部署在诊断云中的步骤还包括:
    捕获所述软件产品的所述云环境中每个节点的映象;以及
    收集来自于部署在所述云环境中的每个节点上的诊断代理的用于部署在该云环境中的集群系统的相关配置数据。

    3.  根据权利要求1的方法,其中,所述用于部署在该云环境中的集群系统的相关配置数据包括:节点配置数据、集群数据库配置数据以及节点关联配置数据。

    4.  根据权利要求1至3中任何一个的方法,其中还包括:
    根据从各节点收集的数据以及该云环境的诊断控制器的预定义规则来判断是否要复制该软件产品的整个云环境;以及
    响应于所述判断为是,捕获包含该软件产品的整个云环境,并将该云环境部署在所述诊断云中。

    5.  一种用于诊断运行在云环境中的软件产品的问题的方法,该方法包括:
    响应于一节点加入所述云环境,在该节点上部署诊断代理;
    所述诊断代理判断是否监视到软件产品运行中的问题;以及
    响应于判断监视到所述软件产品运行中的问题,所述诊断代理向诊断控制器报告。

    6.  根据权利要求5的方法,还包括:
    响应于所述节点上部署了诊断代理,该诊断代理动态收集用于部署在云环境中的集群系统的相关配置数据,并将所述用于部署在云环境中的集群系统相关配置数据发送到所述诊断控制器。

    7.  根据权利要求6的方法,其中,所述用于部署在云环境中的集群系统的相关配置数据包括:节点配置数据、集群数据库配置数据以及节点关联配置数据。

    8.  根据权利要求5所述的方法,该方法还包括:
    所述诊断代理从所述诊断控制器获取诊断配置数据,所述诊断配置数据包括触发条件,且其中,所述诊断代理判断是否监视到所述软件产品运行中的问题包括:所述诊断代理判断所述软件产品运行的输出是否与所述触发条件匹配。

    9.  根据权利要求8的方法,其中,所述触发条件包括所述软件产品运行中的异常和/或踪迹模式。

    10.  根据权利要求8的方法,其中,所述诊断配置数据还包括对应于所述触发条件的动作,且所述响应于判断监视到所述软件产品运行中的问题,所述诊断代理向诊断控制器报告还包括:响应于判断软件产品运行的输出与所述触发条件匹配,执行所述对应于所述触发条件的动作。

    11.  根据权利要求8或10的方法,所述响应于判断监视到所述软件产品运行中的问题,所述诊断代理向诊断控制器报告还包括:与该云环境中的其他节点上的诊断代理通信,来获得所述其他节点上的诊断代理所监视的所述软件产品的运行情况。

    12.  一种用于诊断运行在云环境中的软件产品的问题的装置,包括:
    接收???,被配置为接收来自所述云环境中的节点上部署的诊断代理的关于所监视的所述软件产品的运行中的问题的报告;
    捕获和部署???,被配置为捕获包含该软件产品的所述云环境,并将该云环境部署在诊断云中,且该捕获和部署??榘ǎ?BR>部署???,被配置为将所述云环境中的每个节点的映象部署在所述诊断云中;以及
    配置???,被配置为使用用于部署在云环境中的集群系统的相关配置数据对所述诊断云中的每个节点进行配置。

    13.  根据权利要求12的装置,其中,所述捕获和部署??榛拱ǎ?BR>捕获???,被配置为捕获所述软件产品的所述云环境中每个节点的映象;以及
    收集???,被配置为收集来自于部署在所述云环境中的每个节点上的诊断代理的用于部署在该云环境中的集群系统的相关配置数据。

    14.  根据权利要求12的装置,其中,所述用于部署在该云环境中的集群系统的相关配置数据包括:节点配置数据、集群数据库配置数据以及节点关联配置数据。

    15.  根据权利要求12至14中任何一个的装置,其中还包括:
    判断???,被配置为根据从各节点的收集的数据以及该云环境的诊断控制器的预定义规则来判断是否要复制该软件产品的整个云环境;
    且其中,所述捕获和部署??楸慌渲梦煊τ谒雠卸衔?,捕获包含该软件产品的整个云环境,并将该云环境部署在所述诊断云中。

    16.  一种用于诊断运行在云环境中的软件产品的问题的装置,该装置包括:
    部署???,被配置为响应于一节点加入所述云环境,在该节点 上部署诊断代理;
    判断???,被配置为判断是否监视到软件产品运行中的问题;以及
    报告???,被配置为响应于判断监视到所述软件产品运行中的问题,向诊断控制器报告。

    17.  根据权利要求16的装置,还包括:
    收集???,被配置为响应于所述节点上部署了诊断代理,由该诊断代理动态收集用于部署在云环境中的集群系统的相关配置数据,并将所述用于部署在云环境中的集群系统的相关配置数据发送到所述诊断控制器。

    18.  根据权利要求17的装置,其中,所述用于部署在云环境中的集群系统的相关配置数据包括:节点配置数据、集群数据库配置数据以及节点关联配置数据。

    19.  根据权利要求16的装置,还包括:
    获取???,被配置为由所述诊断代理从所述诊断控制器获取诊断配置数据,所述诊断配置数据包括触发条件,
    且其中,所述被配置为判断是否监视到所述软件产品运行中的问题的判断??榻徊奖慌渲梦号卸纤鋈砑吩诵械氖涑鍪欠裼胨龃シ⑻跫ヅ?。

    20.  根据权利要求19的装置,其中,所述触发条件包括所述软件产品运行中的异常和/或踪迹模式。

    21.  根据权利要求19的装置,其中,所述诊断配置数据还包括对应于所述触发条件的动作,且所述被配置为响应于判断监视到所述软件产品运行中的问题,向诊断控制器报告的报告??榛拱ǎ河糜谙煊τ谂卸先砑吩诵械氖涑鲇胨龃シ⑻跫ヅ?,执行所述对应于所述触发条件的动作的装置。

    22.  根据权利要求19或21的装置,其中,所述被配置为响应于判断监视到所述软件产品运行中的问题,向诊断控制器报告的 报告??榛拱ǎ河糜谟敫迷苹肪持械钠渌诘闵系恼锒洗硗ㄐ?,来获得所述其他节点上的诊断代理所监视的所述软件产品的运行情况的装置。

    说明书

    说明书用于诊断运行在云环境中的软件产品的问题的方法和装置
    技术领域
    本发明涉及云计算,具体涉及一种用于诊断运行在云环境中的软件产品的问题的方法和装置。
    背景技术
    在传统的软件开发阶段,测试团队或自动化测试框架运行所有的测试用例,并将软件缺陷报告给开发团队。然后,开发人员开始诊断问题并试图解决问题。对于那些仅能在非常特殊的环境中再现、并且与各种类型的系统配置参数、环境变量和各种上下文运行时信息关联的缺陷来说,开发人员首先需要建立相同的环境来再现这些缺陷。在大多数情况下,建立这种相同的环境需要极大的努力??⑷嗽毙枰占髦掷嘈偷挠没?测试者环境参数;使用这些参数建立新的环境,包括安装相同版本的操作系统、目标软件产品、补丁包以及所有相关软件;调整用于构建整个环境(包括例如操作系统、JRE等)的运行时参数;持续调整用于任何可能的相关组件的踪迹(trace)级别以逐步地收集期望的踪迹。在上述过程中,任何人为错误或微小疏忽都将造成问题再现的失败,从而阻止问题诊断。这显然成为解决缺陷过程的瓶颈,并增加了无法及时交付产品风险。如果这种情况发生在产品发布后的用户环境中,由于开发人员不得不在现场工作,并指导用户收集所有所需信息,这对双方而言都是耗时和高成本的,且由重建相同环境造成的问题解决延迟将导致用户丧失对产品的信心。
    此外,集群系统由于其先进的高可用性特点和巨大的业务吞吐量,正变得越来越普遍,并已被部署在云环境中。然而,由于集群系统的复杂的环境因素、复杂的任务调度或多个节点之间的协调,集群系统更难以被重 建来重现问题。而且,云的弹性(elasticity)特征支持伸缩集群系统以动态改变节点的数量,因此很难捕获集群的瞬时状态以重建用于重现问题的集群系统。
    可见,本领域中需要一种用于监视在云环境中的软件产品的运行并在云环境中重建用于重现问题的软件产品运行环境以便诊断软件产品的问题的解决方案。
    发明内容
    在本发明的一个方面,提供了一种用于诊断运行在云环境中的软件产品的问题的方法,包括:接收来自云环境中部署的诊断代理的关于所监视的软件产品的运行中的问题;捕获包含软件产品的整个环境,并将该环境部署在诊断云中,包括:将所述云环境中的每个节点的映象部署在诊断云中;以及使用用于部署在云环境中的集群系统的相关配置数据对诊断云中的每个节点进行配置。
    在本发明的另一个方面,提供了一种用于诊断运行在云环境中的软件产品的问题的方法,包括:响应于一节点加入云环境,在该节点上部署诊断代理;诊断代理判断是否监视到软件产品运行中的问题;以及响应于判断监视到软件产品运行中的问题,诊断代理向诊断控制器报告。
    在本发明的又一方面,提供了一种用于诊断运行在云环境中的软件产品的问题的装置,包括:接收???,被配置为接收来自云环境中部署的诊断代理的关于所监视的软件产品的运行中的问题的报告;捕获和部署???,被配置为根据所述分析的结果,捕获包含软件产品的整个环境,并将该环境部署在诊断云中,且该捕获和部署??榘ǎ翰渴鹉??,被配置为将所述云环境中的每个节点的映象部署在诊断云中;以及配置???,被配置为使用用于部署在云环境中的集群系统的相关配置数据对诊断云中的每个节点进行配置。
    在本发明的再一个方面,提供了一种用于诊断运行在云环境中的软件产品的问题的装置,该装置包括:部署???,被配置为响应于一节点加入 云环境,在该节点上部署诊断代理;判断???,被配置为判断是否监视到软件产品运行中的问题;以及报告???,被配置为响应于判断监视到软件产品运行中的问题,向诊断控制器报告。
    本发明能够自动获取云环境中软件产品的问题,并在诊断云中重建该云环境,从而便利了问题再现和诊断。
    附图说明
    通过结合附图对本公开示例性实施方式进行更详细的描述,本公开的上述以及其它目的、特征和优势将变得更加明显,其中,在本公开示例性实施方式中,相同的参考标号通常代表相同部件。
    图1表示根据本发明一实施例的云计算节点;
    图2表示根据本发明一实施例的云计算环境;
    图3表示根据本发明一实施例的抽象模型层;
    图4示意性地示出了根据本发明的一些实施例的用于诊断运行在云环境中的软件产品的问题的系统的体系结构;
    图5示意性地示出了根据本发明的一些优选实施例的用于诊断运行在云环境中的软件产品的问题的系统的体系结构;
    图6示意性地示出了根据本发明的一些优选实施例的捕获集群节点并将其部署在诊断云中的过程;
    图7示出了根据本发明的一些优选实施例的用于诊断运行在云环境中的软件产品的问题的方法的流程图;
    图8示出了根据本发明的一些优选实施例的用于诊断运行在云环境中的软件产品的问题的方法的流程图;
    图9示出了根据本发明的一些优选实施例的用于诊断运行在云环境中的软件产品的问题的装置;以及
    图10示出了根据本发明的一些优选实施例的用于诊断运行在云环境中的软件产品的问题的装置。
    具体实施方式
    下面将参照附图更详细地描述本公开的优选实施方式。虽然附图中显示了本公开的优选实施方式,然而应该理解,可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反,提供这些实施方式是为了使本公开更加透彻和完整,并且能够将本公开的范围完整的传达给本领域的技术人员。
    首先应当理解,尽管本公开包括关于云计算的详细描述,但其中记载的技术方案的实现却不限于云计算环境,而是能够结合现在已知或以后开发的任何其它类型的计算环境而实现。
    云计算是一种服务交付模式,用于对共享的可配置计算资源池进行方便、按需的网络访问??膳渲眉扑阕试词悄芄灰宰钚〉墓芾沓杀净蛴敕裉峁┱呓凶钌俚慕换ゾ湍芸焖俨渴鸷褪头诺淖试?,例如可以是网络、网络带宽、服务器、处理、内存、存储、应用、虚拟机和服务。这种云模式可以包括至少五个特征、至少三个服务模型和至少四个部署模型。
    特征包括:
    按需自助式服务:云的消费者在无需与服务提供者进行人为交互的情况下能够单方面自动地按需部署诸如服务器时间和网络存储等的计算能力。
    广泛的网络接入:计算能力可以通过标准机制在网络上获取,这种标准机制促进了通过不同种类的瘦客户机平台或厚客户机平台(例如移动电话、膝上型电脑、个人数字助理PDA)对云的使用。
    资源池:提供者的计算资源被归入资源池并通过多租户(multi-tenant)模式服务于多重消费者,其中按需将不同的实体资源和虚拟资源动态地分配和再分配。一般情况下,消费者不能控制或甚至并不知晓所提供的资源的确切位置,但可以在较高抽象程度上指定位置(例如国家、州或数据中心),因此具有位置无关性。
    迅速弹性:能够迅速、有弹性地(有时是自动地)部署计算能力,以实现快速扩展,并且能迅速释放来快速缩小。在消费者看来,用于部署的 可用计算能力往往显得是无限的,并能在任意时候都能获取任意数量的计算能力。
    可测量的服务:云系统通过利用适于服务类型(例如存储、处理、带宽和活跃用户帐号)的某种抽象程度的计量能力,自动地控制和优化资源效用??梢约嗖?、控制和报告资源使用情况,为服务提供者和消费者双方提供透明度。
    服务模型如下:
    软件即服务(SaaS):向消费者提供的能力是使用提供者在云基础架构上运行的应用??梢酝ü钊缤玟榔鞯氖菘突Щ涌冢ɡ缁谕绲牡缱佑始┐痈髦挚突Щ璞阜梦视τ?。除了有限的特定于用户的应用配置设置外,消费者既不管理也不控制包括网络、服务器、操作系统、存储、乃至单个应用能力等的底层云基础架构。
    平台即服务(PaaS):向消费者提供的能力是在云基础架构上部署消费者创建或获得的应用,这些应用利用提供者支持的程序设计语言和工具创建。消费者既不管理也不控制包括网络、服务器、操作系统或存储的底层云基础架构,但对其部署的应用具有控制权,对应用托管环境配置可能也具有控制权。
    基础架构即服务(IaaS):向消费者提供的能力是消费者能够在其中部署并运行包括操作系统和应用的任意软件的处理、存储、网络和其他基础计算资源。消费者既不管理也不控制底层的云基础架构,但是对操作系统、存储和其部署的应用具有控制权,对选择的网络组件(例如主机防火墙)可能具有有限的控制权。
    部署模型如下:
    私有云:云基础架构单独为某个组织运行。云基础架构可以由该组织或第三方管理并且可以存在于该组织内部或外部。
    共同体云:云基础架构被若干组织共享并支持有共同利害关系(例如任务使命、安全要求、政策和合规考虑)的特定共同体。共同体云可以由共同体内的多个组织或第三方管理并且可以存在于该共同体内部或外部。
    公共云:云基础架构向公众或大型产业群提供并由出售云服务的组织拥有。
    混合云:云基础架构由两个或更多部署模型的云(私有云、共同体云或公共云)组成,这些云依然是独特的实体,但是通过使数据和应用能够移植的标准化技术或私有技术(例如用于云之间的负载平衡的云突发流量分担技术)绑定在一起。
    云计算环境是面向服务的,特点集中在无状态性、低耦合性、??樾院陀镆獾幕ゲ僮餍?。云计算的核心是包含互连节点网络的基础架构。
    现在参考图1,其中显示了云计算节点的一个例子。图1显示的云计算节点10仅仅是适合的云计算节点的一个示例,不应对本发明实施例的功能和使用范围带来任何限制。总之,云计算节点10能够被用来实现和/或执行以上所述的任何功能。
    云计算节点10具有计算机系统/服务器12,其可与众多其它通用或专用计算系统环境或配置一起操作。众所周知,适于与计算机系统/服务器12一起操作的计算系统、环境和/或配置的例子包括但不限于:个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统﹑大型计算机系统和包括上述任意系统的分布式云计算技术环境,等等。
    计算机系统/服务器12可以在由计算机系统执行的计算机系统可执行指令(诸如程序??椋┑囊话阌锞诚旅枋?。通常,程序??榭梢园ㄖ葱刑囟ǖ娜挝窕蛘呤迪痔囟ǖ某橄笫堇嘈偷睦?、程序、目标程序、组件、逻辑、数据结构等。计算机系统/服务器12可以在通过通信网络链接的远程处理设备执行任务的分布式云计算环境中实施。在分布式云计算环境中,程序??榭梢晕挥诎ù娲⑸璞傅谋镜鼗蛟冻碳扑阆低炒娲⒔橹噬?。
    如图1所示,云计算节点10中的计算机系统/服务器12以通用计算设备的形式表现。计算机系统/服务器12的组件可以包括但不限于:一个或者多个处理器或者处理单元16,系统存储器28,连接不同系统组件(包括 系统存储器28和处理单元16)的总线18。
    总线18表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,外围总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(ISA)总线,微通道体系结构(MAC)总线,增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
    计算机系统/服务器12典型地包括多种计算机系统可读介质。这些介质可以是能够被计算机系统/服务器12访问的任意可获得的介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
    系统存储器28可以包括易失性存储器形式的计算机系统可读介质,例如随机存取存储器(RAM)30和/或高速缓存存储器32。计算机系统/服务器12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,存储系统34可以用于读写不可移动的、非易失性磁介质(图1未显示,通常称为“硬盘驱动器”)。尽管图1中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序???,这些程序??楸慌渲靡灾葱斜痉⒚鞲魇凳├墓δ?。
    具有一组(至少一个)程序???2的程序/实用工具40,可以存储在存储器28中,这样的程序???2包括但不限于操作系统、一个或者多个应用程序、其它程序??橐约俺绦蚴?,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序???2通常执行本发明所描述的实施例中的功能和/或方法。
    计算机系统/服务器12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信,还可与一个或者多个使得用户能与该计算机系统/服务器12交互的设备通信,和/或与使得该计算机系统/服务器12 能与一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且,计算机系统/服务器12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器20通过总线18与计算机系统/服务器12的其它??橥ㄐ?。应当明白,尽管图中未示出,其它硬件和/或软件??榭梢杂爰扑慊低?服务器12一起操作,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
    现在参考图2,其中显示了示例性的云计算环境50。如图所示,云计算环境50包括云计算消费者使用的本地计算设备可以与其相通信的一个或者多个云计算节点10,本地计算设备例如可以是个人数字助理(PDA)或移动电话54A,台式电脑54B、笔记本电脑54C和/或汽车计算机系统54N。云计算节点10之间可以相互通信??梢栽诎ǖ幌抻谌缟纤龅乃接性?、共同体云、公共云或混合云或者它们的组合的一个或者多个网络中将云计算节点10进行物理或虚拟分组(图中未显示)。这样,云的消费者无需在本地计算设备上维护资源就能请求云计算环境50提供的基础架构即服务(IaaS)、平台即服务(PaaS)和/或软件即服务(SaaS)。应当理解,图2显示的各类计算设备54A-N仅仅是示意性的,云计算节点10以及云计算环境50可以与任意类型网络上和/或网络可寻址连接的任意类型的计算设备(例如使用网络浏览器)通信。
    现在参考图3,其中显示了云计算环境50(图2)提供的一组功能抽象层。首先应当理解,图3所示的组件、层以及功能都仅仅是示意性的,本发明的实施例不限于此。如图3所示,提供下列层和对应功能:
    硬件和软件层60包括硬件和软件组件。硬件组件的例子包括:主机,例如系统;基于RISC(精简指令集计算机)体系结构的服务器,例如系统;系统;IBM系统;存储设备;网络和网络组件。软件组件的例子包括:网络应用服务 器软件,例如IBM应用服务器软件;数据库软件,例如IBM数据库软件。(IBM,zSeries,pSeries,xSeries,BladeCenter,WebSphere以及DB2是国际商业机器公司在全世界各地的注册商标)。
    虚拟层62提供一个抽象层,该层可以提供下列虚拟实体的例子:虚拟服务器、虚拟存储、虚拟网络(包括虚拟私有网络)、虚拟应用和操作系统,以及虚拟客户端。
    在一个示例中,管理层64可以提供下述功能:资源供应功能:提供用于在云计算环境中执行任务的计算资源和其它资源的动态获??;计量和定价功能:在云计算环境内对资源的使用进行成本跟踪,并为此提供帐单和发票。在一个例子中,该资源可以包括应用软件许可。安全功能:为云的消费者和任务提供身份认证,为数据和其它资源提供?;?。用户门户功能:为消费者和系统管理员提供对云计算环境的访问。服务水平管理功能:提供云计算资源的分配和管理,以满足必需的服务水平。服务水平协议(SLA)计划和履行功能:为根据SLA预测的对云计算资源未来需求提供预先安排和供应。
    工作负载层66提供云计算环境可能实现的功能的示例。在该层中,可提供的工作负载或功能的示例包括:地图绘制与导航;软件开发及生命周期管理;虚拟教室的教学提供;数据分析处理;交易处理;以及移动桌面。
    图4示意性地示出了根据本发明的一些实施例的用于诊断运行在云环境中的软件产品的问题的系统的体系结构。
    如图所示,在云环境中部署有诊断代理401,诊断代理401可实时监视软件产品的运行,判断是否监视到软件产品运行中的问题,以及响应于判断监视到软件产品运行中的问题,诊断代理401向诊断控制器402报告。该诊断控制器402可位于所述云环境之外。所述云环境可包括测试云或用户云。测试云是指在其中进行软件产品的测试的云环境;而用户云是指使用软件产品的用户的用于在其中运行软件产品的云环境。
    优选地,诊断代理401可例如从诊断控制器402获取诊断配置数据,诊断配置数据优选是可由用户配置的,并可包括触发条件。所述诊断配置 数据可以存储在由诊断控制器402维护的诊断配置储存库403中。诊断代理401可通过判断软件产品运行的输出是否与触发条件匹配来判断是否监视到软件产品运行中的问题。所述软件产品运行的输出可以是软件产品运行中产生的踪迹/日志,或者产生的异常。相应地,所述触发条件也可包括软件产品运行中的异常和/或踪迹模式(trace pattern)。
    诊断控制器402接收来自诊断代理401的关于所监视的软件产品的运行中的问题的报告,分析所述报告,并根据所述分析的结果,捕获包含软件产品的整个环境(例如,用户虚拟服务器映象或测试虚拟服务器映象),并将该环境部署在诊断云中,以便在诊断云中再现问题并进行诊断。诊断控制器402可将所捕获的虚拟服务器映象首先存储在一映象储存库404中,再将映象储存库404中存储的虚拟服务器映象部署在诊断云中。
    如本领域技术人员所知的,在以上描述中实际上公开了根据本发明的实施例的用于诊断运行在云环境中的软件产品的问题的方法和相应装置,为简明起见,这里不再对此描述。
    图5示意性地示出了根据本发明的一些优选实施例的用于诊断运行在云环境中的软件产品的问题的系统的体系结构。如图所示,软件产品运行在测试云或用户云中的集群系统中。集群的每个节点上部署有一诊断代理401。诊断控制器402与各诊断代理401通信,以向各诊断代理401传送诊断配置信息,并从各诊断代理401接收问题报告,以及用于配置集群系统的相关信息。所有诊断代理401之间可以相互通信以交换监视的诊断信息,以及有关集群系统的配置信息。此外,诊断控制器402负责维护诊断配置数据库中的诊断配置数据,其中包括可由用户设置的用于诊断代理401和诊断控制器402的行为规则(包括触发条件和动作等)。
    每个节点中的诊断代理401可以是运行在后台的程序。诊断代理401的行为可由来自诊断控制器402的诊断配置数据定制。诊断配置数据定义了触发条件类型、触发条件以及相应的动作。动作可以是在诊断配置数据库中定义和存储的指令代码或脚本。
    在大多数情况下,集群系统中存在多种类型的节点。例如,在典型的 企业应用体系结构中,有web服务器节点、应用服务器节点、数据库节点。web服务器节点负责接收请求并将请求转发给应用服务器节点,应用服务器节点运行业务逻辑并从数据库节点获取数据。不同类型的节点承担不同的计算任务和不同级别的工作负荷。因此,在本发明的实施例中,不同节点上的诊断代理401被配置以不同的触发条件和动作。
    与具有静态集群拓扑定义的传统集群系统相比,云中的集群具有动态弹性。集群可以随着工作负荷的变化通过添加或去除节点来伸缩(这也被称为动态水平伸缩)。在本发明的实施例中,每个诊断代理401具有p2p协议,且具有与其他节点上的诊断代理401协商的能力。当新节点加入集群时,其他节点可意识到它并与它通信。
    在本发明的实施例中,每当一个节点启动时,其诊断代理401可根据其节点类型从诊断控制器402获取相应的诊断配置数据。诊断代理401可将这些诊断配置数据载入节点的存储器中。然后,诊断代理401监视节点的运行时数据和应用系统的日志/踪迹,并实时分析日志/踪迹。同时,诊断代理401将所监视的这些数据,特别是异常数据(例如,经常的存储器不足、关键组件中的空指针异常、特定的踪迹模式、CPU长时间空闲、进程死锁等),与诊断配置数据进行实时比较。特别是对于与踪迹模式相关的数据,诊断代理401可通过正则表达式匹配或其他语法和语义工具进行比较。
    诊断配置数据可通过诊断控制器402按节点类型来分类。例如,诊断配置数据可以如下所示:
    表一


    在上述示例中,行为规则001和002是为“应用服务器”节点类型定义的。应用服务器节点中的诊断代理401持续地监视运行在应用服务器上的业务应用的踪迹。运行在该服务器上的业务应用具有收集其承担的业务事务的数量的能力;如果在几分钟内没有业务逻辑在其上运行,则它将在踪迹中输出一个警告。该警告指示该业务应用已处于空闲状态一段时间,这可能意味着整个集群或应用本身发生了某种错误。一旦诊断代理401发现踪迹匹配了模式“[App]警告:在该服务器中在${period}分钟内没有业务逻辑运行”(“${period}”为可由用户设置的分钟数),则采取该行为规则所指定的动作。上表中的动作可以是可由诊断代理401执行的命令或脚本文件。在该例子中,动作是命令或脚本或两者的组合,即诊断代理401首先与其他节点上的诊断代理401对话以获知其他节点上是否发生同样的事,如果是则向诊断控制器402报告。
    行为规则002指定了致命运行时异常,例如NullPointerException(在某些极大的工作负荷中会产生该异常),或某些内部定义的致命异常(可由在复杂环境中触发的编程错误产生)。相应的动作是一个将日志提交给诊断控制器402的命令。
    对于web服务器节点类型,行为规则003指定了踪迹模式匹配。每当诊断代理401发现与指定的踪迹模式匹配的踪迹,它就采取向诊断控制器402报告的动作。
    在诊断控制器402所维护的诊断配置数据中,还可包括用于配置诊断控制器402本身的诊断配置数据。例如,这种诊断配置数据可以如下所示:
    表二


    在上述诊断配置数据中,为诊断控制器402定义了三个行为规则。根据行为规则001,当诊断控制器402接收到诊断代理401提交的关于踪迹模式匹配“[App]警告:在该服务器中在${period}分钟内没有业务逻辑运行”的报告时,存在两个可能的原因:一个原因是存在很少的对系统服务的请求,因此大多数节点空闲;另一个原因是大多数其他节点很忙,而特定节点空闲了很大时间,在这种情况下在集群或应用本身中一定存在某种错误。因此,诊断控制器402指示其他节点报告它们是否有这种类型的踪迹模式匹配。
    一旦诊断控制器402接收到多个节点(例如,全部或大多数节点)的报告,则它使用行为规则001和002的“多节点踪迹模式匹配”策略。如果已经有超过80%的节点匹配:“[App]警告:在该服务器中在${period}分钟内没有业务逻辑运行”,且报告的节点匹配:“[App]警告:在该服务器中在${period}分钟内没有业务逻辑运行”,这意味着系统处于低工作压力下,因而大多数节点是空闲的。在这种情况下,不需要采取进一步的动作。
    然而,如果已经有超过80%的节点匹配:“[App]信息:在${period}分钟内处理了${numbers}个事务”,而当前报告节点匹配:“[App]警告:在该服务器中在${period}分钟内没有业务逻辑运行”,这指示一定存在错误。此时,需要进行集群捕获。
    除了以上用于诊断节点和诊断控制器402的诊断配置数据外,还存在用于整个集群的定制的系统模式元数据。系统模式元数据包括用于构建集群系统的任何相关配置数据(例如,集群配置文件中的数据项、或集群数 据库中的某些配置表字段)。例如,系统配置元数据可如下表所示。
    表三

    诊断代理401将为每个节点动态收集这些系统模式元数据,并将其发送到诊断控制器402。诊断控制器402收集并合并所有节点的系统模式元数据,以形成系统模式。与传统的静态系统模式部署不同,云环境中的系统模式随着弹性伸缩性而变化。每当新的节点加入,其上的诊断代理401开始收集其配置,并与其他节点和集群管理器通信。该节点的诊断代理401将其配置发送到诊断控制器402。同时,其他节点的配置数据也可能发生变化(例如,节点管理器将发现该集群成员并相应更改某些集群配置),并且这些变化将被更新到诊断控制器402。
    当诊断控制器402根据对来自诊断代理401的报告的分析决定复制集群(如根据表二中的行为规则决定的)时,诊断控制器402发起捕获所有节点的映象。于是,对于每个节点,将存在捕获的映象和相应的配置数据(即系统模式元数据),所述映象和配置数据可用于部署一个与原来一样的新节点。诊断控制器402发起部署每个节点的映象。当每个节点的映象被部署后,在新部署的节点中获取并激活相应的系统模式元数据(节点配置、集群数据库配置、节点关联配置)。这样,节点可采用所有这些配置从而形成新的相同的集群系统。
    图6示意性地示出了根据本发明的一些优选实施例的捕获集群节点或将其部署在诊断云中的过程。如图所示,诊断控制器402捕获集群中的节点A和节点B的映象,同时从节点A和节点B上的诊断代理401收集节点配置、数据库配置和关联配置(即系统模式元数据),所述节点映象和系统模式元数据可构成系统模式;然后,将节点映象部署在诊断云中的节点上,并将各节点的系统模式元数据部署在诊断云中的各节点中,从而在诊断云中创建一个相同的集群。
    应指出的是,以上仅是对本发明的具体实施例的示例性说明,而不是对本发明的限制。在以上描述中公开了大量的技术细节,在本发明的特定实施例中,可不包括这些技术细节中的一些。此外,如本领域技术人员可知的,以上描述中实际上公开了根据本发明的一些优选实施例的方法和装 置。为更清楚起见,现参考附图更具体地描述这些方法和装置。
    图7示出了根据本发明的一些优选实施例的用于诊断运行在云环境中的软件产品的问题的方法的流程图,其中所述软件产品在测试云或用户云中的集群系统中运行。该方法可由在集群系统中的每个节点上部署的诊断代理401执行。如图所示,该方法包括如下步骤:
    在步骤701,响应于一节点加入云环境,在该节点上部署诊断代理集群系统。
    在步骤703,所述诊断代理401判断是否监视到软件产品运行中的问题。
    在步骤704,响应于判断监视到软件产品运行中的问题,诊断代理401将向诊断控制器402报告。如果在步骤703判断未监视到软件产品运行中的问题,则诊断代理401可返回到步骤704继续判断是否监视到软件产品运行中的问题。
    根据本发明的一实施例,该方法还包括如下可选步骤:
    在可选步骤705,响应于节点上部署了诊断代理,该诊断代理401动态收集用于部署在云环境中的集群系统的相关配置数据。所述相关配置数据可被称为系统模式元数据。该步骤只要在步骤701后,步骤706之前执行即可,与步骤702、703、704没有执行先后顺序的限制。
    在可选步骤706,所述诊断代理401将所述用于部署在云环境中的集群系统的相关配置数据发送到诊断控制器402。该步骤只要在步骤705后执行即可,与步骤702、703、704没有执行先后顺序的限制。
    根据本发明的一实施例,该方法还包括如下可选步骤:
    在可选步骤702,诊断代理401获取诊断配置数据,所述诊断配置数据包括触发条件,且其中,所述诊断代理401判断是否监视到软件产品运行中的问题的步骤703包括:所述诊断代理401判断软件产品运行的输出 是否与触发条件匹配。
    优选地,所述诊断配置数据是可以由用户定制的。所述诊断配置数据可被存储在由诊断控制器402所维护的一诊断配置储存库403中,从而诊断代理401可以从诊断配置储存库403中获取诊断配置数据。
    优选地,所述诊断配置数据可按照节点类型进行分类,这样,不同类型节点中的诊断代理401可以分别获取用于该类型节点的诊断配置数据。
    根据本发明的一实施例,所述触发条件包括软件产品运行中的异常和/或踪迹模式。相应地,所述软件产品运行的输出可包括软件产品运行时所产生的异常以及输出的踪?;蛉罩?。
    根据本发明的一实施例,所述诊断配置数据还包括对应于触发条件的动作,且所述响应于判断监视到软件产品运行中的问题,诊断代理401向诊断控制器402报告还包括:响应于判断软件产品运行的输出与触发条件匹配,执行与匹配的触发条件相应的动作。也就是说,在诊断配置数据中规定的对应于触发条件的动作是将问题报告给诊断控制器402,所述问题例如为软件产品运行中产生与的触发条件匹配的异?;蜃偌DJ?。
    根据本发明的一实施例,所述响应于判断监视到软件产品运行中的问题,诊断代理向诊断控制器报告还包括:与云环境中的其他节点上的诊断代理401通信,来获得所述其他节点上的诊断代理401所监视的软件产品的运行情况。也就是说,在诊断配置数据中规定的对应于触发条件的动作包括与其他节点上的诊断代理401通信,以获得所述诊断代理401所监视的软件产品在其他节点上的运行情况。此外,所述动作还可以进一步包括对软件产品在其他节点上的运行情况进行判断,并根据判断结果向诊断控制器402报告。
    根据本发明的一实施例,所述用于部署在云环境中的集群系统的相关 配置数据包括:节点配置数据、集群数据库配置数据以及节点关联配置数据。当然,这些数据仅为示例,所述用于部署在云环境中的集群系统的相关配置数据可以包括构建集群系统所需的任何配置数据。
    图8示出了根据本发明的一些优选实施例的用于诊断运行在云环境中的软件产品的问题的方法的流程图,其中,所述软件产品在测试云或用户云中的集群系统中运行。该方法可由诊断控制器402执行。如图所示,该方法包括如下步骤:
    在步骤801,接收来自云环境中部署的诊断代理401的关于所监视的软件产品的运行中的问题。其中。在集群系统中的每个节点上部署有诊断代理401。
    在可选步骤802,通过分析所述报告,判断是否要复制软件产品的整个环境。响应于所述判断为是,捕获包含软件产品的整个环境,并将该环境部署在诊断云中,
    根据本发明的一实施例,根据从各节点的收集的数据以及诊断控制器的预定义规则来判断是否要复制软件产品的整个环境;以及响应于所述判断为是,捕获包含软件产品的整个环境,并将该环境部署在诊断云中。也就是说,步骤802可通过用于诊断控制器402的诊断配置数据(如表二中所示)来实现。该诊断配置数据可包括触发条件和相应动作。触发条件可以包括致命异?;蛱囟ǖ淖偌DJ?。相应动作可以包括判断或启动复制软件产品的整个环境。当来自诊断代理401的报告与这样的触发条件匹配时,执行相应动作,即判断复制软件产品的整个环境。相应动作还可以包括指示其他节点上部署的诊断代理401提交关于相同问题的报告,该相应动作与作为触发条件的特定的踪迹模式对应。
    根据本发明的实施例,所述捕获包含软件产品的整个环境,并将该环境部署在诊断云中包括如下步骤:
    在可选步骤803,捕获所述软件产品的集群环境中每个节点的映象。
    在本发明的一实施例中,诊断控制器402可以将所捕获的每个节点的 映象存储在一映象储存库404中。
    在可选步骤804,收集来自部署在集群系统中的每个节点上的诊断代理401的用于部署在云环境中的集群系统的相关配置数据。所述相关配置数据也可称为系统模式元数据(例如,如表3中所示的)。所述系统模式元数据可以由诊断代理401在其运行过程中实时地收集。诊断代理401可以将所收集的系统模式元数据实时提供给诊断控制器402以由诊断控制器接收,或者可以将其存储在节点上,并由诊断控制器402在复制集群系统时统一收集。
    在步骤805,将所述每个节点的映象部署在诊断云中。在本发明的一实施例中,诊断控制器402可以将每个节点的映象从映象储存库404部署在诊断云中。
    根据本发明的实施例,所述用于部署在云环境中的集群系统的相关配置数据包括:节点配置数据、集群数据库配置数据以及节点关联配置数据。
    在步骤806,使用所述用于部署在云环境中的集群系统的相关配置数据对诊断云中的每个节点进行配置,就在诊断云中重建集群系统。这样,在诊断云中重建的集群系统将与原集群系统相同,并可用于问题再现和诊断。
    在本发明的一实施例中,响应于步骤802的判断为否,返回步骤801,以指示其他节点上部署的诊断代理401提交关于相同问题的报告。
    在本发明的一实施例中,诊断控制器402可以首先将从每个节点上的诊断代理401收集的系统模式元数据合并,以产生系统模式,并可将其存储在诊断配置储存库403或一单独的系统模式储存库中。诊断控制器402可以协调在诊断云中的每个节点上的诊断代理401(因为诊断代理也随着节点映象一起被复制)进行系统恢复。每个诊断代理401可以从诊断配置储存库403或系统模式储存库中获取相应的系统模式数据以恢复节点的配置。当然,诊断控制器402也可以自行进行系统恢复。
    如本领域技术人员所知的,在本发明的一些实施例中,以上所述和在图7及图8中分别示出的用于诊断运行在云环境中的软件产品的问题的方法实际上可以合并为单个用于诊断运行在云环境中的软件产品的问题的方法。此外,以上所述和在图7及图8中分别示出的方法可具有更多、更少或不同的步骤,且各步骤之间的顺序、包含、功能等关系可以与所描述和示出的不同。
    图9示出了根据本发明的一些优选实施例的用于诊断运行在云环境中的软件产品的问题的装置,所述软件产品在测试云或用户云中的集群系统中运行,该装置包括:
    部署???01,被配置为响应于一节点加入云环境,在该节点上部署的诊断代理;
    判断???02,被配置为由诊断代理判断是否监视到软件产品运行中的问题;
    报告???03,被配置为响应于判断监视到软件产品运行中的问题,由诊断代理向诊断控制器402报告。
    根据本发明的实施例,该装置还包括可选的收集???04,被配置为收集用于部署在云环境中的集群系统的相关配置数据,并将所述用于部署在云环境中的集群系统的相关配置数据发送到诊断控制器402。
    根据本发明的一实施例,该装置还包括:可选的获取???05,用于获取诊断配置数据,所述诊断配置数据包括触发条件,且其中,所述被配置为判断是否监视到软件产品运行中的问题的判断???02进一步被配置为:判断软件产品运行的输出是否与触发条件匹配。
    根据本发明的一实施例,所述触发条件包括软件产品运行中的异常和/或踪迹模式。
    根据本发明的一实施例,所述用于部署在云环境中的集群系统的相关配置数据包括:节点配置数据、集群数据库配置数据以及节点关联配置数据。
    根据本发明的一实施例,所述诊断配置数据还包括对应于触发条件的动作,且所述被配置为响应于判断监视到软件产品运行中的问题,向诊断控制器402报告的报告???03还包括:用于响应于判断软件产品运行的输出与触发条件匹配,执行与匹配的触发条件相应的动作的装置。
    根据本发明的一实施例,所述被配置为响应于判断监视到软件产品运行中的问题,向诊断控制器报告的报告???03还包括:用于与集群系统中的其他节点上的诊断代理401通信,来获得所述其他节点上的诊断代理401所监视的软件产品的运行情况的装置。
    图10示出了根据本发明的一些优选实施例的用于诊断运行在云环境中的软件产品的问题的装置,该装置可称为诊断控制器402,该装置包括:
    接收???001,被配置为接收来自测试云或用户云中部署的诊断代理401的关于所监视的软件产品的运行中的问题的报告;
    部署???005,被配置为将所述云环境中的每个节点的映象部署在诊断云中;以及
    配置???006,被配置为使用所述用于部署在云环境中的集群系统的相关配置数据对诊断云中的每个节点进行配置,从而在诊断云中重建集群系统。
    根据本发明的实施例,该装置还包括如下可选??椋?
    可选的捕获???003,被配置为捕获所述软件产品的集群系统中每个节点的映象;以及
    可选的收集???004,被配置为收集来自部署在集群系统中的每个节点上的诊断代理401的用于部署在云环境中的集群系统的相关配置数据;
    根据本发明的实施例,所述用于部署在云环境中的集群系统的相关配置数据包括:节点配置数据、集群数据库配置数据以及节点关联配置数据。
    根据本发明的实施例,该装置还包括如下可选??椋?
    判断???,被配置为根据从各节点的收集的数据以及诊断控制器的预定义规则来判断是否要复制软件产品的整个环境;
    且其中,所述捕获和部署??楸慌渲梦煊τ谒雠卸衔?,捕获包含软件产品的整个环境,并将该环境部署在诊断云中。
    如本领域技术人员所知的,在本发明的一些实施例中,以上所述和在图9及图10中分别示出的用于诊断运行在云环境中的软件产品的问题的装置实际上可以合并为单个用于诊断运行在云环境中的软件产品的问题的系统。此外,以上所述和在图9及图10中分别示出的装置可具有更多、更少或不同的???,且各??橹涞牧?、包含、功能等关系可以与所描述和示出的不同。
    应指出的是,本说明书及附后的权利要求书中所述的诊断代理、诊断控制器及装置中的各??榈拿频冉鍪俏鹗龇奖愣鸬拿?,而不对本发明的技术方案有任何限制。
    以上已经描述了本发明的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

    关 键 词:
    用于 诊断 运行 环境 中的 软件产品 问题 方法 装置
      专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
    关于本文
    本文标题:用于诊断运行在云环境中的软件产品的问题的方法和装置.pdf
    链接地址://www.4mum.com.cn/p-6156949.html
    关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服客服 - 联系我们

    [email protected] 2017-2018 www.4mum.com.cn网站版权所有
    经营许可证编号:粤ICP备17046363号-1 
     


    收起
    展开
  • 四川郎酒股份有限公司获第十二届人民企业社会责任奖年度环保奖 2019-05-13
  • 银保监会新规剑指大企业多头融资和过度融资 2019-05-12
  • 韩国再提4国联合申办世界杯 中国网友无视:我们自己来 2019-05-11
  • 中国人为什么一定要买房? 2019-05-11
  • 十九大精神进校园:风正扬帆当有为 勇做时代弄潮儿 2019-05-10
  • 粽叶飘香幸福邻里——廊坊市举办“我们的节日·端午”主题活动 2019-05-09
  • 太原设禁鸣路段 设备在测试中 2019-05-09
  • 拜耳医药保健有限公司获第十二届人民企业社会责任奖年度企业奖 2019-05-08
  • “港独”没出路!“梁天琦们”该醒醒了 2019-05-07
  • 陈卫平:中国文化内涵包含三方面 文化复兴表现在其中 2019-05-06
  • 人民日报客户端辟谣:“合成军装照”产品请放心使用 2019-05-05
  • 【十九大·理论新视野】为什么要“建设现代化经济体系”?   2019-05-04
  • 聚焦2017年乌鲁木齐市老城区改造提升工程 2019-05-04
  • 【专家谈】上合组织——构建区域命运共同体的有力实践者 2019-05-03
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-05-03