dcim平台相关技术

《dcim平台相关技术》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、DCIM平台相关技术面对海量数据，DCIM管理系统不能仅依靠少数几台机器的升级（Scale-up,纵向扩展）满足数据量的增长，必须做到横向可扩展（Scale-out）,既满足性能的要求，也满足存储的要求（包括结构性数据、非结构形式、半结构性数据），•由于服务需求的多样性，平台既要支持传感器数据流的实时分析与处理又要支持复杂查询与深度分析所需的高性能、低延迟需求。平台需具有高度容错性，大数据的容错性要求在作业（」ob）执行过程中，一个参与节点失效不需要重做整个作业。机群节点数的增加会增加节点失效概率，在大规模机群环境下，节点的失

2、效不再是稀有事件。因此在大规模机群环境下，系统不能依赖于硬件来保证容错性，要更多地考虑软件级容错，同时増加系统的可用性。系统的开放性也是十分重要的，各子系统之间数据交换、共享以及服务集成是必不可少的。DCIM平台特性说明高度可伸缩性横向大规模可伸缩，人规模并行处理实时性对数据中心基础设施传感数据流、告警事件的实时处理高性能、低延迟分析快速响应复杂査询与深度分析、实时分析结果高度容错性系统在硬件级、软件级实现容错开放性系统之间可实现数据共享、服务集成可以按如下参考框架来构建DCIM平台的数据处理技术和层级:子系统分?5^從子贼盾

3、杂理子系统L1J.火^^入子絨图10-5DCIM大数据平台参考架构1.大数据接入子系统可以利用事件驱动的架构(Event-DrivenArchitecture)支持大型数据中心中各垂直子系统大规模TCP/IP连接的高并发处理，使用消息队列模式的订阅/发布模式。同时利用负载均衡和反向映射等技术，构建接入服务器集群，实现高容错2.流数据处理子系统来自设备和子系统的大量数据需要得到实时处理，需要弓I入分布式的、容错的实时计算"流处理(Streamprocessing)"系统。除了接受接入子系统传入的实时数据流，还提供对数据流的连续查

4、询和混合查询支持。连续查询用于实时持续不断地监控，用户可以指定连续查询的滑动时间窗口，对于进入窗口且符合查询条件的事件进行报警监控。混合查询用于不仅需要涉及动态流数据还需要访问静态历史和空间数据的复杂查询。3.复杂事件处理子系统接入的现场监控系统数据在上传到DCIM大数据平台时包含大量的事件，流数据处理弓I擎也会根据定义的规则产生大量的事件，而这些事件存在密不可分的相关性。为更智能的处理这些海量事件，将事件相关性分析、联动等业务决策从应用程序代码中分离出来，一个智能的复杂事件处理引擎(ComplexEventProcess)是

5、最佳的选择。CEP接受从流数据平台过来的数据输入，解释业务规则，并根据业务规则做出业务决策，实现事件过滤、合并、分流、定位、告警等服务。环境传感动力设格IT基础设X资产变更•-CEP引9用户操作••图10-6复杂事件处理舒1言号：chiriciclcc可用成熟功能的CEP引擎实现以下功能：•可接入多种异构数据源，通过适配器转换为统一数据格式；.在内存中实时处理数据流，相比起传统事件引擎首先将数据存储至数据库后再根据业务规则加载处理的轮询方式有更好的性能;•支持持续查询语言的规则数据库，其结构化查询语言类似SQL,提供映射、过滤

6、、关联、聚合、模式匹配、延时和时间窗口等反式(Reactive)处理；支持订阅/发布机制，主动推送处理结果给事件订阅者；4.分布式存储子系统DCIM采集到的数据经过流数据平台处理后必须做存储处理。为应对巨量设备接入后产生的海量数据，需要分布式数据库和分布式文件系统技术，将廉价可靠的PC服务器存储设备集合起来协同工作，形成一个分布式、高容错的云存储平台，为后期的分析处理提供便利。NoSQL分布式数据库NoSQL(NotOnlySQL)z泛指非关系型的数据库，是随着互联网应用兴起的新型的大规模、分布式数据存储系统。相比现有的关系数

7、据库系统具备以下优势•灵活的可伸缩性对于传统的关系数据库，当数据量大幅増加时，服务提供商必须增加更多的服务器和存储服务器来扩展这些数据库.但想在通用硬件上对传统的关系数据库做"横向伸缩"的扩展并不是件容易事。而NoSQL数据库被设计来解决这个问题,它的透明伸缩能力能够非常便捷通过加入新节点来増加存储，避免了升级导致的服务暂停，有效地节省了数据库的扩展升级成本超大规模数据分布式存储在数据中心监控领域，随着数据中心建设的规模越来越大，需要监控的对象越来越多，存储的监控数据量已经超出了传统数据库所能承载的范围。而这种"大数据"可以通

8、过NoSQL系统来进行分布式存储有效解决了超大数据的存储问题、•灵活的数据模型对于大型生产性的关系数据库而言，变更管理是一件很令人头痛的事情。即使只对一个RDBMS的数据模型做很小的改动，也需要十分小心地管理，甚至还需要停机或降低服务水平。而NoSQL数据库在数据模型约束方面