物联网数据处理之浅论

《物联网数据处理之浅论》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、物联网数据处理之浅论刘茂华史文崇(河北科技师范学院数信学院，河北秦皇岛066004)摘要本文指出了物联网的一些数据特性，并分析了这些特性对数据处理的耍求，捉出数据库、屮间件技术是解决物联网数据多态性、界构性的关键，云计算、海计算技术是解决数据海量性的关键，优质数据源头器件的研发是数据传输的关键。关键词物联网；数据；异构性；海量性；云计算；海计算1引言关于物联网至今没冇确切学术定义。物联网技术一般被看作是许多技术的集成，目前冇无线传感网(WSN)、RFID系统、M2M系统等多种形式。物联网的概念在2005年由国际电信联盟(

2、ITU)提出，但其应用在此之前早已开始，近年来更是遍及诸如智能交通、国土资源调查、环境监测、公共安全等许多社会生活领域。物联网的应用一一软件开发、系统开发与管理离不开数据处理。物联网的数据來源复杂多样，明确贯数据特性，搞清物联网数据处理的技术关键所在，既是非常必要的，也是非常重要的。2物联网的数据特性2.1数据的多态性与异构性无线传感网屮冇各种各样的传感器，而毎一类传感器在不同应用系统屮又冇不同用途。显然，这些传感器结构不同、性能各界，其采集的数据结构也各不相同。在RFID系统中也有多个RFID标签，多种读写器;M2M系

3、统屮的微型计算设备更是形形色色。它们的数据结构也不可能遵循统一模式。物联网屮的数据冇文木数据,也有图像、音频、视频等多媒体数据。有静态数据,也有动态数据(如波形)。数据的多态性、感知模型的异构性导致了数据的异构性⑴。物联网的应用模式和架构互不相同，缺乏可批量应用的系统方法,这是数据多态性和异构性的根木原因。显然，系统的功能越复杂，传感器节点、RFID标签种类越多，其异构性问题也将越突出。这种异构性加剧了数据处理和软件开发的难度。2.2数据的海量性物联网往往是山若干个无线识别的物体彼此连接和结合形成的动态网络。一个中型超市

4、的商品数量动辄数百万乃至数千万件。在一个超市RFID系统中，假定有1000万件商晶都需要跟踪，每天读取10次，每次10()个字节，每夭的数据量就达10GB,每年将达3650GBo在生态监测等实时监控领域，无线传感网需记录多个节点的多媒体信息，数据量更大的惊人，每天可达1TB以上。此外，在一些应急处理的实施监控系统系统中，数据是以流(stream)的形式实时、高速、源源不断地产生的，这愈发加剧了数据的海量性。2.3数据的时效性被感知的事物的状态可能是瞬息力变的。因此不管WSN还是RFID系统，物联网的数据采集工作是随时进行

5、的，毎隔一定周期向服务器发送一次数据，数据更新很快，历史数据只用于记录事务的发展进程虽可以备份，但因其海量性不可能长期保存。只冇新数据才能反映系统所感知的“物”的现冇状态，所以系统的反应速度或者响应时间是系统可靠性和实用性的关键。这要求物联网的软件数据处理系统必须具冇足够的运行速度，否则可能得出错误的结论甚至造成巨大损失。2.4数据传输的难题对于WSN而言，国内一些物联网应用研究表明叫文本型数据易传难感，多媒体数据易感难传；在出现数拥传输故障时，很难判定是网络中断还是软件故障；理想化的系统模型假设因其忽略了WSN运行过程

6、中伴随的各种不确定的、动态的环境因素往往难以实地应川。甚至电源（电池）的寿命可以决定整个WSN的寿命。因此WSN式物联网在实际应用中，节点的数量H前还难以突破1000大关，这并不完全是由上述界构性、海量性等原因所致。数据采集、传输元器件的性能——功耗、实用性、可靠性和稳定性，成为目前WSN数据管理的瓶颈。3物联网数据处理的要求上述特性给数据质量控制、数据存储、数据压缩、数据集成、数据融合、数据查询带來极大挑战，迫使人们不断探索行Z有效的技术手段。满足以上特性的要求，解决数据处理的矛盾。3.1数据异构性的要求解决数据的界构

7、性问题必须从基础软件入手。不同的微型计算设备町能要采用不同的操作系统，不同的感知信息需要不同的数据结构和数据库，不同的系统需要不同的中间件。其中，操作系统解决运行平台问题，数据库解决数据的存储、挖掘、检索问题，屮间件解决解决数据的传递、过滤、融合问题。操作系统、数据库、中间件这些基础软件的匸确选择和使用可以屏蔽数据的界构性，实现数据的顺利传递、过滤、融合，为及时、正确感知事物的存在及其现状具有重耍懣义。尤其是数据库和中间件是解决异构性的关键。对于运动着的物联网系统，必须感知爭物的空间信息。这些数据的处理归根结底属于时间或

8、空间数据库的数据处理问题和数据挖掘问题。只是这些数据库要有更强的应变能力。3.2数据海量性和时效性的要求海量性带來的问题是存储不便、计算结果的迟滞性一反应速度跟不上。处理策略不外乎两种：一种是把所冇的数据都交给服务器，为此必须寻求更高档次的服务器哄至计算中心。另一种是化整为零，提窩物联网中每一个元素的智能化水平或计算