网络大数据时代认知学习 面临的挑战与对策

《网络大数据时代认知学习 面临的挑战与对策》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、XI’ANJIAOTONGUNIVERSITY网络大数据时代认知学习面临的挑战与对策郑庆华西安交通大学2014年5月XI’ANJIAOTONGUNIVERSITY报告提纲1、挑战：信息爆炸导致认知过载2、出路：技术创新变革认知模式大数据时代来临XI’ANJIAOTONGUNIVERSITY《Nature》2008年9月特刊：大数据时代来临！截止2013年，有2.8X109个Web站点信息倍增Facebook有11亿用户，每天新增约3亿周期由5年张照片互联网缩减到18个月智能电网、智能交通、环保监测等数以百万、千万传感器的实时海量数据各类应用人类社会每2天产生的数据部署于智利帕

2、切翁山顶上的巡天望远超过了从文明伊始至2003镜每天产生30TB可分析的数据年所有数据的总和科学计算海量信息知识获取：普遍性需求XI’ANJIAOTONGUNIVERSITY国家战略性需求公众需求金融预测安全预警信息检索智能电网气候预测旅游服务主要来源1：社交网络XI’ANJIAOTONGUNIVERSITYWeb1.0只能发布Web2.0不仅能发布而且人人可参与个性化Web3.0语义化核心价值：Everyoneisfreetocontribute,freetoshare!来源2：从Internet到InternetofThingsXI’ANJIAOTONGUNIVERSIT

3、Y把新一代IT技术充分运用在各行各业之中，例如：把传感器装备到电网、铁路、桥梁、隧道、大坝、油气管道等各种物体中，形成“物联网”将“物联网”与现有的互联网整合起来，实现人类社会与物理系统的整合。由能力超强的云计算存储和计算，得出有关结论，并进行实时地反馈控制；人类可以以更加精细、动态优化、节约的方式管理生产和生活，达到“智慧”状态，提高资源利用率，改善人与自然间的关系。网络大数据的5V特点XI’ANJIAOTONGUNIVERSITYVolume：数据量大、变化快正以每18-24个月翻番的速度增长Variety：类型众多、异构性、不规范性多种类型：网络日志、音

4、频、视频、图片、地理位置等结构化、半结构化及非结构化数据混杂出现Velocity：要求快速响应数据采集、处理和应用要求快速响应Value：价值密度低价值稀疏，挖掘有用知识可谓“大海捞针”Veracity：真实性存在人为篡改、鱼目混珠、真假难辨、缺乏监管等问题人类认知进入BigData时代XI’ANJIAOTONGUNIVERSITY2012年互联网产生的数据超过3ZB(1021)Wikipedia英文词条已超过4亿个全球每年有2.5亿篇学术论文发表问答网站ChaCha每月提交5千万个问题每天：Twitter上2亿条微博，学习相关的微博超过1千万条Exa

5、主要特征：Upto10,000TimesPetalarger非结构化：80%以上为文本、图片、视频等Tera知识碎片化：多源分布、关联稀疏DataScaleGigaDataatRest高度动态性：频率达到ms~μs级DataScaleTraditionalDataWeb2.0：数据生产者逐步由机构向个人过渡，MegaWarehouseandBusinessIntelligenceUpto10,000社交网络成为主要数据源DatainMotiontimesfasterKiloyrmowkdayhrminsec…mssOccasionalFrequentReal-ti

6、meDecisionFrequency互联网正在改变知识的载体XI’ANJIAOTONGUNIVERSITY《易．系辞下》:“上古结绳而治”256个结的信息为：1个Byte东方朔一篇3万字的奏章，用了3000多片竹简，需由两人抬着进宫。信息约为60KByte四库全书总字数约为10亿。230万页，连结在一起，足够绕地球赤道一圈有余。信息量约为2GByte互联网正在改变知识的载体XI’ANJIAOTONGUNIVERSITY美国国家图书馆有1.28亿册的馆藏量，图书馆书架的总长超过800公里。信息量约为：15000GByte学术论文：每年有1,486,000篇学术论文出版发行

7、维基百科：每天新增7000多词条，目前英文词条已经超过400,000,000百度知道已经累计解决185,809,922个问题！美国著名社交问答网站ChaCha每月提交50,000,000个问题！谷歌每天处理24000TB的数据。相当于1600个美国国会图书馆的信息量大数据对认知学习的影响XI’ANJIAOTONGUNIVERSITY知识更新的速度日益缩短：100年，50年，30年，20年，10年，5年，……。因此，如何应对与日俱增的海量资源？空前的“认知过载”！人类的认知带宽受限STM存储7±