物联网感知大数据的存储与处理

物联网感知大数据的存储与处理

ID:15501499

大小:1.83 MB

页数:5页

时间:2018-08-03

物联网感知大数据的存储与处理_第1页
物联网感知大数据的存储与处理_第2页
物联网感知大数据的存储与处理_第3页
物联网感知大数据的存储与处理_第4页
物联网感知大数据的存储与处理_第5页
资源描述:

《物联网感知大数据的存储与处理》由会员上传分享,免费在线阅读,更多相关内容在学术论文-天天文库

1、视点第 10 卷第 1 期2014 年 1 月物联网感知大数据的存储与处理丁治明刘奎恩关键词:大数据物理信息感知存储与处理技术中国科学院软件研究所大型物联网系统中数亿、数十亿个传感设备(如术将关系数据库(包括并行数据库)运行于云计算等传感器、多媒体采集设备、遥感设施等)在不断地大数据环境,但是由于存在输入/输出(I/O)瓶颈及感知动态变化的物理世界,并通过各类移动通讯设并发事务处理效率等方面的问题,比如在数据库管备、计算机与互联网连接和整合,共同构成了人类理系统一级进行并行化/虚拟化的效率远低于在文未来的信息网络,最终将形成人—机—物三元融合的件存

2、储一级的并行化效率(即,使用云计算、大数信息世界。据预测,三元融合世界带来的信息量将据存储所提供的并行存储能力,如谷歌文件系统),远远超过现有人类社会的信息。物联网的感知数据因此这种虚拟化技术并不完全适用。虽然较好的云1是典型的大数据,具备5V的全部特征。同时,伴计算关系数据库平台(如WindowsAzure和Sim-随着物联网数据规模的爆炸式增长,数据的获取方pleDB)均针对云环境对底层存储进行了专门的设计,式、表现形态、相互关系、存取速度和语义演化也但是总体而言,这些工作侧重的仍然是提供将数据会发生一系列根本变化,给目前的海量信息处理技库管理

3、系统作为服务(RDB-a-a-S)的功能,在一定术带来前所未有的挑战。程度上回避了性能问题。传统的数据管理技术已经难以满足物联网感知如何满足物理信息感知中时空逻辑、科学计算、大数据处理需求。例如,起源于20世纪70年代的多模态实时分析处理的要求,对物联网、感知中国、关系数据库采用了集中式设计,因此并不太适用于智慧城市等大型应用的海量感知数据管理进行支分布、并行环境。这种不足在对象数据库、对象关持,已经成为云计算技术发展的必然趋势。针对云系数据库中也同样存在。直到最近几年,随着云计计算技术目前的研究现状和核心问题,本文将重点算键—值模型的提出以及列存

4、储系统的产生,海量分析云计算在海量物理信息感知数据管理方面所面数据处理技术才有了显著进步。临的挑战,提出基于海—云计算模型的大数据存储作为海量信息处理的主流技术之一,云计算数与分析方案,并介绍软件系统及其实现。据处理技术方兴未艾,但在物联网感知大数据管理上还存在诸多局限性。目前,云计算的大部分研究工作大数据环境下数据库技术及其集中在软硬件架构、网络和服务模式层面,大多数现局限性有方案局限于关键词处理。还有些工作通过虚拟化技1指体量(volume)、速度(velocity)、多样性(variety)、真实性(veracity)和价值(value)。6

5、0第 10 卷第 1 期2014 年 1 月大数据对整个信息技术产业格局产生了深远影云计算环境。尤其是关系数据库存在着可伸缩性问响,诸多巨头企业(如谷歌、微软、IBM、亚马逊等)题,比如当节点规模足够大时,关系数据库中的一加入了大数据研发大军,并形成许多基于互联网的致性、完整性等约束会极大地降低数据库性能。此物联网感知大数据的大数据技术与服务平台。然而,现有大数据环境下外,传统的加锁机制也难以适用于分布式并行环境,数据库技术仍存在很多局限性。甚至连原关系型数据库的最大优势——join功能也存储与处理大数据技术的核心思想是通过屏蔽各类主机硬成为了云计

6、算环境下的性能瓶颈。因此,将关系数件及数据的差异,实现计算设备及数据的统一处理;据库(包括并行数据库)不加修改地搬到云计算环采用分布式并行计算技术,实现用户任务在大规模境运行是不合适的。现有的云计算关系数据库主要数据处理节点之间的协同求解,提高数据密集型任强调数据管理及查询描述功能的丰富性,对于其性务的计算速度和处理能力。其中,作为大数据核心能目标的关注则往往是次要的。关键软件之一的数据库系统可分为关系数据库和云键-值数据库及其局限性计算键-值数据库。前者主要是对外提供SQL规范的关系查询服务,后者作为云计算基础设施技术用为了适应大数据环境下对云计

7、算数据管理的可于对内的服务。扩展性需求,近年来业界纷纷推出了以键-值数据库(K-Vstore)为代表的新型非关系式数据库,比如关系数据库及其局限性谷歌的BigTable、亚马逊的Dynamo及其诸多变异、关系数据库借助集合代数等概念和方法来处理阿帕奇的HBase和百度的CloudDB等。云计算键-数据库中的数据。由于关系模型简单明了、具有坚值数据库中数据可以统一表征为对,++实的数学理论基础,因此,一经推出就受到学术界、然后以key的全局B树(GlobalB-Tree)形式组织产业界的高度重视和广泛响应,迅速被目前主流的起来。

8、其优势是数据结构简洁,计算单元与磁盘空商业数据库系统采用。著名的关系数据库有国外的间廉价。SystemR,Ingres,O

当前文档最多预览五页,下载文档查看全文

此文档下载收益归作者所有

当前文档最多预览五页,下载文档查看全文
温馨提示:
1. 部分包含数学公式或PPT动画的文件,查看预览时可能会显示错乱或异常,文件下载后无此问题,请放心下载。
2. 本文档由用户上传,版权归属用户,天天文库负责整理代发布。如果您对本文档版权有争议请及时联系客服。
3. 下载前请仔细阅读文档内容,确认文档内容符合您的需求后进行下载,若出现内容与标题不符可向本站投诉处理。
4. 下载文档时可能由于网络波动等原因无法下载或下载错误,付费完成后未能成功下载的用户请联系客服处理。