进入21世纪以来,人类在信息存储和处理能力方面不断涌现技术性的突破,目前被人们热议和关注的大数据即代表着最新潮流。互联网上每天产生的数据如潮水般涌现并被保存,当数据量达到一定规模的时候,就会从量变到质变,对人们的日常生活产生巨大影响,进而改变组织和社会的管理方式。
事实上,对海量数据的成功应用早已有之。2009年全球爆发甲型H1N1流感,美国公共卫生机构的工作效率输给了商业企业谷歌公司。原因是公共卫生机构的官员在统计疫情传播的起源和渠道时,使用的是传统的数据反馈方式,获得的信息比疫情的真实传播速度整整滞后了两周;而谷歌公司通过美国人在网上检索的海量词条,迅速且成功地运用数字模型判断出甲流传播的途径和趋势,为官方提供了及时有效的数据。当人们为这个案例惊叹的同时,也不得不承认,《大数据时代:生活、工作和思维的改变》的作者、英国牛津大学教授维克托·舍恩伯格所断言的大数据时代已经来临了!
提到大数据时代,人们的第一反应就是数据量大。诚然,人类的信息存量正在以几何倍数增加。据统计,一分钟内,仅微博网站推特上新发的信息条数就超过10万条;社交网络脸谱上的浏览量则超过600万;到2013年,全世界储存的信息如果记录在光盘上,这些光盘叠加起来,高度等于从地球到月球走一趟。用信息爆炸来形容今天的社会和时代毫不为过。
然而,在舍恩伯格看来,大数据的“大”,并不是指数据本身绝对数量大,而是指处理数据所使用的“大”模式:尽可能地收集全面数据、完整数据和综合数据,同时使用数学算法对其进行分析和建模,挖掘出背后的关系,从而预测某一事件发生的概率。美国计算机专家迪博德说过,在信息时代,通过信息加总和数据整合,对个人信息进行分析的穿透力要远远大于1+1的效果,它不需要对每个抽样样本进行精确提取,却能获得比抽样调查更加精准的结果。通过全数据模式推演事物发展规律的成功案例已不在少数。
目前,人们已越来越多地认识到互联网数据背后蕴涵的科学、经济和社会价值,把大数据模型系统地应用到公共商业服务中,为政府、企业或个人提供服务:对冲基金通过剖析推特上的数据来预测股市的走势;亚马逊公司根据用户的查询记录来推荐产品;纽约政府使用犯罪数据和地图进行城市管理……在中国,数据的挖掘也已经起步:2012年,阿里巴巴提出大数据战略,旨在通过资源共享与数据互通创造商业价值;去年“双十一”销售热潮中,以云计算为基础的聚石塔服务,对数以亿万计的消费者需求信息进行捕捉汇总,帮助网商随时调整商品和销售决策,以提供精准、有效的服务。
尽管我们看到了大数据时代的无限机遇,但人类在互联网领域不过才走了几十年。除了要解决个人隐私和信息安全等问题外,整个网络世界的数据仍然是局部的、碎片化的。如果能把散落在各个国家、各个机构及个人手中的数据集中起来,那么,大数据所能发挥的作用更会超越我们的想象。