分布式数据采集与监测系统的设计、实现及应用

《分布式数据采集与监测系统的设计、实现及应用》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、中国科学院计算技术研究所硕士学位论文分布式数据采集与监测系统的设计、实现及应用姓名：王金伟申请学位级别：硕士专业：计算机软件与理论指导教师：樊建平20060601摘要在计算机系统结构和性能的研究过程中，数据采集和监测系统一直都具有十分重要的作用，它能够获取软硬件运行时所产生的可以反映系统性能、负载和效率等特征的大量数据，从而为现有系统的改进和新结构的设计提供参考。当前，以数据和计算中心为主体的集中式个人计算和存储模式成为了新结构研究中的热点。在这种模式中，计算和存储资源被集中放置在服务器端，用户通过与服务器连接的瘦客户端和虚拟化技术获得独立、安全的个人计

2、算环境。集中模式试图通过服务器端的大规模资源共享来提高资源利用率从而降低成本，这给服务器的设计带来了挑战。而这种服务器的资源及负载实际上是现有大量个人资源和负载的某种聚合。因此，研究现有个人计算机上的资源使用、应用和用户行为等特征，可以为集中模式中服务器的设计提供量化的参考，这就需要对目前大量分布在网络环境中的个人计算机上的数据进行长时期采集与监测，并且，在此过程中采集和监测的数据类型和人群也可能随着研究的进行而发生动态变化。针对这些研究需求，本文设计并实现了一个动态可更新的分布式数据采集与监测系统，并对系统收集到的数据进行了全面的分析。7本文的主要工作

3、和贡献是：1．分析了典型的分布式监测系统的结构和技术特点，针对集中模式研究的需求，讨论了用于获取网络环境中个人计算机数据的采集和监测系统设计中的关键问题。在总结和分析已有系统的基础上，提出了一个动态可更新的分布式数据采集和监测系统DDCS的体系结构，这一结构融入了数据采集模块独立化和监测过程服务化的设计思想，并基于Manager／Agent模型，很好的满足了长期研究过程中采集数据类型动态变化的需求。2．基于动态可更新的体系结构，实现了分布式数据采集和监测系统DDCS。DDCS通过动态更新协议实现了参数，数据采集器和系统三个级别的动态更新机制；它通过多种技

4、术实现了系统的轻载性；DDCS还支持多层次和跨网域的数据采集和监测，并且通过提供数据采集器开发包实现了系统的可扩展机制。3．将DDcS在40台个人办公计算机上进行了部署实验，收集到大量真实数据，通过从资源使用，办公应用和用户行为三个层次对数据的分析和讨论，得到了一系列特征和规律。其中，我们发现办公计算机的CPU平均利用率只有12．9％，内存平均有30％多的剩余，磁盘和网络I／O带宽平均利用率不到1％。本文所述的DDCS系统，实验所得的数据以及分析的结果都将用于集中式的个人计算和存储模式中服务器端的资源组织和分配策略以及任务调度算法等方面的研究。关键词：监

5、测系统；动态更新；轻载性；个人计算机；资源使用特征TheDesign，ImplementationandApplicationofaDistributedDataCollectionandMonitoringSystemWangJinwei(ComputerSoftwareandTheory)DirectedByFanJianpingAbstractDuringtheCOUrseofresearchoncomputerarchiteetureandperformance，thedataCOllectionandmonitoringsystemplaysa

6、veryimportantroleallthetime．ItCallobtaindatafromsoftwareandhardwarewhilethesystemisnmning．Suchdatamayreflecttheperformance,workloadandefficiencyofsystems，andgivesomehelpfulguidanceforimprovingexistingsystemsordesigningnewarchitecttaes．AtpresenLthestudyoneenlralizedpersonalcomputi

7、ngandstorageparadigmwit量lthemainbodyofdataandcomputingcenterhasbecomeahotspotinarchitectureresearches．Inthisparadigm,computingandstorageresourcesarecentralizedontheSCI'VeI"．Userscanhavetheirownsafepersonalcomputingenvironmentbyusingthinclientsconnectedtotheserverandvirtualization

8、technologies．n忙centralizedparadigmaimsto