多层次数据分析.pdf

《多层次数据分析.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、文章编号：1007—1423(2015)02—0045—06DOI：10．3969~．issn．1007—1423．2015．02．012多层次数据分析祁鹏年(长沙理工大学经济与管理学院，长沙410114)摘要：对于专业的数据分析而言，一定要有很强的针对性．什么样的需求就要提供与之层次相匹配的分析结果。否则就会造成不必要的信息价值浪费，也会大大增加需求者获取信息的成本。就如何有效实现多层次的数据分析，以理论实例相结合的方式．做相应的探讨。关键词：大数据：数据挖掘；数据分析；分布式数据库0引言及非结构化的海量数据．这是一切数据分析的基础。数据的采集需要解决分布式

2、高速高可靠数据的采集、高“InGodWeTrust；A11OthersUseData”在美国企速数据全映像等数据收集技术。还要设计质量评估模业流传这样一句话：除了毫无保留地信奉上帝．其他的型．开发数据质量技术而数据采集一般分为大数据智一切均以数据说话。这句话足以揭示数据的价值，数据能感知层：主要包括数据传感体系、网络通信体系、传将是未来世界的主宰。首先，多层次的数据分析正改变感适配体系、智能识别体系及软硬件资源接入系统，实着企业做决策的模式在海量的数据中通过不同维度现对海量数据的智能化识别、定位、跟踪、接入、传输、的钻取．可以得到不同价值的信息．这些信息以不同

3、比信号转换、监控、初步处理和管理等。例的价值使得企业高层做出更精准的决策。其次，多层1．2数据预处理次的数据分析也改变着企业创造价值的方式．可以通数据采集的过程本身就有会有很多数据库．但如过分析技术．把分析应用于每一个领域，甚至每一件事果想达到有效分析海量数据的目的．就必将这些来自情．由分析结果可以把更多相关的领域叠加起来再分前端的数据导入到一个集中的大型分布式数据库，或析，又将产生新的价值。所以，多层次数据分析正在为者分布式存储集群．而且在导人基础上做一些简单的企业创造着前所未有的价值。最后，多层次的数据分析辨析、抽取、清洗等操作。①抽取：因为我们通过各种途

4、将直接改变企业对每一个客户提供价值的方式数据径获取的数据可能存在多种结构和类型．而数据抽取分析可以帮助企业发现每一个潜在的用户群．针对不过程可以有效地将这些复杂的数据转换为单一的结构同的用户提供不同的个性化服务．无疑这将极大地提或者便于处理的类型以达到快速分析处理的目的。高营销效率②清洗：对于海量数据而言，数据所处的价值层次不一1海量数据处理流程样．就必然存在由于价值低而导致开发成本偏大的数1．1数据采集据．还有与数据分析毫无关系的数据．而另一些数据则数据的采集是指利用传感器、社交网络以及移动是完全错误的干扰项．所以对数据通过过滤“去噪”从互联网等方式获得的各

5、种类型的结构化、半结构化以而提取出有效数据是十分重要的步骤现代计算机2015．01中@1．3数据的存储与管理个销售企业每月或者每季度的财务报表当我们采集数据完成后．就需要将其存储起来统2．2即席查询(AdHocKeports)一管理．主要途径就是建立相应的数据库．进行统一管用户可以通过自己的需求．灵活地选择查询条件．理和调用。在此基础上，需要解决大数据的可存储、可系统就能够根据用户的需求选择生成相应的统计报表示、可处理、可靠性及有效传输等几个关键问题。还表即席查询与普通应用查询最大的不同是普通的应需开发可靠的分布式文件系统(DFS)、能效优化的存用查询是定制开

6、发的．而即席查询所有的查询条件都储、计算融入存储、数据的去冗余及高效低成本的大数是用户自己定义的。在面向高层的数据分析软件中，用据存储技术：以及分布式非关系型大数据管理与处理户随意添加想要查询的指标按钮再加上相应的限制条技术、异构数据的数据融合技术、数据组织技术、研究件．就可以立即生成可视化的统计结果．不仅一目了大数据建模技术、索引、移动、备份、复制、可视化技术。然．而且没有任何操作难度。1．4数据的统计分析2．3多维分析(QueryDrilldown)一般情况下．统计与分析主要就是利用分布式数多维分析是指对具有多个维度和指标所组成的数据库．或者分布式计算集群

7、来对存储于其内的海量数据模型进行的可视化分析手段的统称．常用的分析方据进行普通的分析和分类汇总等．以满足大多数常见式包括：下钻、上卷、切片(切块)、旋转等各种分析操的分析需求．在这方面．一些实时性需求会用到EMC作以便剖析数据，使分析者、决策者能从多个角度多的GreenP1um、Oracle的Exadata．以及基于MySQL的个侧面观察数据．从而深入了解包含在数据中的信息列式存储Infobright等，而一些批处理，或者基于半结和内涵上卷是在数据立方体中执行聚集操作．通过在构化数据的需求可以使用HadooD。统计与分析这部分维级别中上升或通过消除某个或某些维

8、来观察更概括的主要特点和挑战是分析涉及