读徐子沛《大数据》有感

《读徐子沛《大数据》有感》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、读徐子沛《大数据》有感如果要问当今什么技术最为火热，我想毫无疑问大数据必然是热门答案之一。那么什么是大数据呢？大数据（bigdata），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。（摘自百度百科）大数据之所以产生，是因为今天无处不在的传感器和微处理器。我们正在迈进普适计算的时代。数据正在里指数级增长。之所以增长速度如此之快，背后有许多原因。现在几乎所有数据的产生形式，都是数字化的。各种传感器的剧增，高清晰度的图像和视频，

2、都是数据爆炸的原因。如何处理这样海量的数据，并且从其中挖掘出有价值的内容是摆在科技公司和政府面前的一道难题。任何一个组织，要抓住大数据的机遇，就必须做好几个方面的工作。从技术角度来看，首先要收集并且开发特定的工具，来管理大规模并行服务器产生的结构化和非结构化数据，这些数据，可能是自己专有的，也可能来源于"云"。其次，每一个组织都需要选定分析软件，用它来挖掘数据的意义。但可能最重要的是，任何组织都需要人才来管理和分析大数据。这些人被称为"数据科学家他们集黑客和定量分析员的优势和特长于一身，非常短缺。聪明的领导人，将想方设法留住这类人才。与此同时大

3、量的基础设施建设一样重要，且不提大数据的处理需要大量高性能的计算机，光是储存这些数据就需要极为大量的存储设备，所以基建也是极为重要的一个环节。在徐子沛老师的《大数据》一书中从美国政府的角度作为切入点，通过一系列实例深入分析了大数据的政府运作、实践成果。书中首先提到了奥巴马政府倡导信息公开透明，在上任之初便大力推行信息的公开化和透明化。信息之与民主，就如货币之于经济。受美国国家文化影响，美国人民对于信息的知情权的重视程度几近对于枪支自由的执着。在2010年的<<规划数字化的未来:美国总统科学技术顾问委员会给总统和国会的报告》中提到：如何收集、管理

4、和分析数据正在日渐成为我们网络信息技术研究的重中之重。以机器学习，数据挖掘为基础的高级数据分析技术，将促进从数据到知识的转化、从知识到行动的跨越。联邦政府的每一个机构和部门，都需要制定一个应对"大数据"(BigData)的战略。对于具体如何处理数据方面而言，必然离不开两个方面，一个是数据本身，另一个则是处理这些纷杂数据的程序。程序和数据的关系，就好像发动机和燃料，所有的程序，都是靠数据驱动的;数据之于程序，又好比血液之于人体，一旦血液停止流动，人就失去了生命，代码也将停止运行。数据的生命力，甚至比程序更持久。程序可以不停地升级、换代甚至退出使用

5、，但保存数据的数据库却会继续存在，其价值很可能与日俱增、历久弥新。书中提到一个非常有意思的例子：劳工统计局在1997年开展的青少年纵向调查。它眼踪调查的对象虽然是青少年本身，但受访人、问卷人却可以是家长、老师、雇主等等和该青少年密切相关的个人和群体，每次问卷都有数十个问题，需要受访人1小时左右才能完成。因为付出了时间，受访人在完成问卷之后，能获得8到20美元不等的报酬。同样的问题，也可能在不同的年份、在相同受访人员的问卷中重复出现，以测试受访人态度的变化。随着数据的积累，一幅以个人成长为中心、越来越大的社会画卷也开始展开。这种以一个国家为单位的

6、大型社会调查，是研究一个社会长期变迁不可或缺的重要资源，也为政策的制定、调整和评价提供了重要的参考和依据。这些原始的数据积累，不但在时间的横向上具有相当高的参考价值，在个人为背景的纵向上也可以一定程度上展示社会的经济，教育等方面的长期变迁。通过不同的数据组合对比可以得出多样化，多层次，多角度的综合结论，这对于政府在政策制定和规划上有着极为重要的促进作用。仅仅在2000年的时候，全世界全部的存储信息中还只有1/4是数字化的，其余的都保存在纸张、胶片和其他模拟介质上。但是由于数字数据数量的增长十分迅速——几乎每三年就翻一番，这种情形很快发生了逆转。

7、今天，在所有存储信息中只有不到2%是非数字化的。可以用数据爆炸来形容目前的数据增长情况。数据爆炸体现在三个方面：一是同一类型的数据量在快速增大;二是数据增长的速度在加快;三是数据的多样性，即新的数据来源和新的数据种类在不断增加。对于爆炸的数据急需国家层面出台相关政策引导发展已经成为共识。大数据已经成为国家和政府层面的发展战略，通过大数据的交换、整合、分析和使用，人类可以发现新的知识和规律，创造新的价值和内容，带来“大知识”、“大科技”、“大利润”和“大发展”。爱德华·戴明是享有世界声誉的美国统计学家、管理学家，也是质量管理理论的奠基人。曾为日本

8、的经济崛起立下了丰功伟绩。他有一句名言说:"我们信靠上帝。除了上帝，任何人都必须用数据来说话。"随着大数据时代的不断深入，各个政府部门都在尝试"用数据