大数据的前世今生

    回顾历史，“大数据”这个时髦的词汇，在物理学、生物学、环境生态学等领域，以及军事、金融、通讯等行业存在已有时日。但是真正引起人们高度关注的，还是因为近年来互联网和信息行业的迅速发展所致。

    且让我们来看看“大数据”在互联网行业的表现。

    首先，它源于互联网公司在日常运营中生成、累积的用户网络行为数据。这些数据的规模是如此庞大，以至于人们将不能再用G或T来衡量，所以，大数据的起始计量单位至少是P（1000个T）、E（100万个T）或Z（10亿个T）。

    那么，大数据到底有多大？一组名为“互联网上一天”的数据告诉我们：一天之中，互联网产生的全部内容可以刻满1.68亿张DVD；发出的邮件有2940亿封之多（相当于美国两年的纸质信件数量）；发出的社区帖子达200万个（相当于《时代》杂志770年的文字量）；卖出的手机为37.8万台，高于全球每天出生的婴儿数量37.1万……

    截止到2012年，数据量已经从TB（1024GB=1TB）级别跃升到PB（1024TB=1PB）、EB（1024PB=1EB）乃至ZB(1024EB=1ZB)级别。国际数据公司（IDC）的研究结果表明，2008年全球产生的数据量为0.49ZB，2009年的数据量为0.8ZB，2010年增长为1.2ZB，2011年的数量更是高达1.82ZB，相当于全球每人产生200GB以上的数据。而到2012年为止，人类生产的所有印刷材料的数据量是200PB，全人类历史上说过的所有话的数据量大约是5EB。IBM的研究称，整个人类文明所获得的全部数据中，有90%是过去两年内产生的。而到了2020年，全世界所产生的数据规模将达到今天的44倍。

    一系列的数据无不向我们传达着一个概念，那就是“大”，以几何倍数增长的大，而且越来越大。但是，如果就此顾名思义，定义了“大数据”，那还是有失偏颇。

    最早提出“大数据”时代到来的，是全球知名咨询公司麦肯锡，麦肯锡称：“数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。”

    牛津大学互联网研究所维克托·迈尔·舍恩伯格教授指出，“大数据”所代表的是当今社会所独有的一种新型的能力——一种前所未有的方式，通过对海量数据进行分析，获得有巨大价值的产品、服务和见解。

    “大数据”会给整个社会带来从生活到思维上革命性的变化：企业和政府的管理人员在进行决策的时候，会出现从“经验即决策”到“数据辅助决策”再到“数据即决策”的变化；人们所接受的服务，将以数字化和个性化的方式呈现，借助3D打印技术和生物基金工程，零售业和医疗业亦将实现数字化和个性化的服务；以小规模实验、定性或半定量分析为主要手段的科学分支，如社会学、心理学、管理学等，将以向大规模定量化数据分析转型；将会出现数据运营商和数据市场，以数据和数据产品为对象，通过加工和交易数据获取商业价值；人类将在哲学层面上重新思考诸如“物质和信息谁更基础”、“生命的本质是什么”、“生命存在的最终形态是什么”等本体论问题。

    综上所诉，我们对“大数据”概念基本能有个全方面的认识。“大数据”不是数据量的简单刻画，也不是特定算法、技术或商业模式上的发展，而是从数据量、数据形态和数据分析处理方式，到理念和形态上重大变革的总和。所谓“大数据”，是基于多源异构、跨域关联的海量数据分析所产生的决策流程、商业模式、科学范式、生活方式和观念形态上的颠覆性变化的总和。