基于网络爬虫技术服务的质量管理分析

《基于网络爬虫技术服务的质量管理分析》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、基于网络爬虫技术服务的质量管理分析（1国网丽水供电公司运维检修部323000;2国网浙江缙云县供电公司323000;3国网丽水供电公司323000）摘要：从20世纪60年代起步的电力行业信息化，经过四十多年的发展，形成了一定的规模。但由于各省市电力企业独立规划和运作，始终没有形成统一的信息化标准规范。加之复杂的专业应用使得同一企业各职能部门只根据自身的需求单独立项，开发功能单一、开放性较差的专用系统，往往使一个电力公司内同时运行着成百上千的计算机系统。这些不同的系统功能不同，开发工具不同，结构也存在很大差异，而最大的问题就是数据的不可兼容，最终形成了数量众多的“信息孤岛”

2、。这种情况给企业领导的经营和决策造成了很大的混乱。因此我们需要一个能够运行在现有系统上的或者未来的其他系统上的功能插件，支持网页上已有数据的抓取、模板的管理、信息的自动生成和填报。木文将对网络爬虫技术的一些探讨性的研究。关键词：网络爬虫、信息、数据分析；在这种背景之下，电力各业务部门所具有的业务系统、数据资源每天都在増长。信息管理归纳抓取已经成最大的难题。但是人的能力是有限的，对面如此庞大的资源数量，人类要从中找出与检索内容相符的内容是一件非常巨大的工程。面对这些海量的数据中，怎样才能从成千亿的数据中找出符合要求的数据。众多的系统为后台工作人员造成了相当大的工作压力，尤其

3、是涉及到一些工作流的流转的系统，需要对数据反复的复制粘贴和计算验证，造成了工作量的严重浪费。1.主要研究内容随着信息化的发展，电力各业务部门所具有的业务系统也逐步增多，众多的系统为后台工作人员造成了相当大的工作压力，尤其是涉及到一些工作流的流转的系统，需要对数据反复的复制粘贴和计算验证，造成了工作量的严重浪费。需要一个能够运行在现有系统上的或者未来的其他系统上的功能插件,支持网页上已有数据的抓取、模板的管理、信息的自动生成和填报。本研究方向就是对现在的需要此类插件的系统进行汇总，设置模板，分析数据来源，为后期的功能开发奠定理论基础。2•项目管理和方案目标2.1项目管理(1

4、)实施计划安排按照技术规范的要求，以《国家电网公司生产运行管理信息规范(最终稿)》要求为蓝本，在融合电力企业配电网业务管理规范基础上进行项目安排。(2)质量标准的制定行有行规，质量的追求是无止境的，并且是有代价的，因此必须将对质量的要求以标准形式固定下来，达到了标准就算通过，不达标准就要返工。(3)作业质量管理作业管理应有明确的程序和质量保证体系。程序和质量保证体系的建设应以“技术规范”的作业标准来进行。根据项目实施流程，建立质量保证体系，对项目进行检查，跟踪质量保证体系运作过程和分析造成不良工程的主要因素，制定相应的措施和制度，明确质检和整改责任人，使工程的质量一直处于

5、闭环控制状态。(4)文档管理按照“招标采购技术规范”的要求制定文档模板并组织实施，文档管理要做到：及吋、真实、符合标准。及时指的是文档制作要及时，归档要及时。真实指的是文档中的数据必须是真实有效的。符合标准指的是文档的格式和填写必须规范。提交的文档包括：Excel表格形式低压设备台帐已分类整理、命名的低压设备照片文件CAD格式的以1:500地形图为底图的台区图文档在实施过程中至关重要，它有助于项0管理人员和实施人员开展具体工作，有助于管理人员监督与指导，有助于用户了解软件的工作和应做的操作,同吋，也是项目实施完成所必须要交付一些文件的保证。所以，实施文档的质量是整个实施过

6、程中不可缺少的部分。厂家按照CMMI3级的要求制定文档模板并组织实施，文档是过程的踪迹，文档管理要做到：及时、真实、符合标准，我们在实施型项目中也参考这种理念。及时指的是文档制作要及时，归档要及吋。真实指的是文档中的数据必须是真实有效的。符合标准指的是文档的格式和填写必须规范。2.2方案目标第一步，广泛搜集资料，对在用的信息系统进行调研，全面分析抢修用表单的流程和数据来源；第二步，研究网络爬虫技术，根据业务需求进行插件的初步设计；第三步，根据初步设计进行软件的详细设计，并且开发和部署；第四步，上线并口培训。3•技术方案针对客户的要求，拟定插件的设计效果图如下：登录界面：4

7、.技术支持服务4.1技术服务（1）咨询服务本公司具备多年的行业系统集成经验，累积了大量的技术、业务方面的知识和经验，同吋本公司与相关系统集成公司建立长期战略合作伙伴关系，在电力行业各类应用上强强联合，共同推进电力行业性的应用。秉承一贯的开放性原则，本公司和合作伙伴向客户提供了各类专业咨询服务，共同分享这些成果。(2)系统例查售后服务不应仅仅担任“救火车”的角色，更重要的是应能防患于未然。本公司的系统例查服务将定期或不定期地检查和总结系统运行过程中的隐患，并及时提醒用户，有可能的话立刻除去有关隐患。(3)性能调优为让应用系统运行