一、大数据的内涵及其应用 (一)大数据的概念、特征 现代社会正以不可想象的速度产生海量数据。根据IDC(InternetDataCenter)即互联网数据中心预测,2020年的数据增长量将是2010年的44倍,达到35ZB。大数据(bigdata)是由数量巨大、结构复杂、类型众多的数据构成的数据集合,是基于云计算的数据处理与应用模式。大数据又称巨量资料,指的是所涉及的资料量规模巨大到无法透过目前的主流软件工具,在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策的资讯。 大数据具有以下四个基本特征:一是海量的数据容量(VolumeBig),目前数据量级已从TB发展至PB乃至ZB;二是快速的数据流转和动态的数据体系(VelocityFast),数据流往往为高速实时数据流,而且需要快速、持续的实时处理,处理工具亦在快速演进,软件工程及人工智能等均可能介入;三是多样的数据类型(VariableType),数据类型繁多,主要为网页、视频、图像与位置信息等半结构化和非结构化数据信息;四是巨大的数据价值和数据低密度(ValuehighandLowdensity),以视频安全监控为例,连续不断的监控流中,有价值的可能仅为一两秒的数据流,360°全方位视频监控的"死角"处,可能才挖掘出能被利用的有价值的图像信息。 (二)大数据的应用领域 大数据是海量交易数据、海量交互数据以及海量数据处理三种相互关联又迥然各异的技术趋势的集合体,每一种技术趋势都代表着创新突破和发展潜力。随着各项创新技术的汇集,大数据的应用已经相当广泛。 1.城市管理。搜集城市的地理信息和其他数据,医院、警察局等公共服务部门的位置,天气变化,为可能发生的紧急事件提供预案;通过各行业收集到的数据,分析宏观数据,准确及时地对市场进行调控;通过在城市多处设置的传感器收集交通数据,从而指导人们确定出行计划,避免拥堵,有效缓解大城市交通拥挤问题。 2.农工商业发展。运用大数据对气象、气候、地形进行智能分析,形成现代化高科技农业生产模式;形成以大数据信息为背景的新型现代化工业,智能自动化生产;数据分析工具帮助银行、商店确定最佳的营业网点,优化业务的运营;帮助企业监控客户的商店活动情况与交易记录,确定商品种类、商品摆放位置、商品调价的时间和幅度,减少企业存货,提升利润率;在电子商务方面,准确分析用户的购物行为,通过对用户行为数据的分析,决定购物网站的网页形式和内容,把消费者和销售者对应起来,形成新的"销售-消费"模式;在商品储存方面,开发一种供应链模型,根据产品线的销售情况、运输费用、储存费用,提供极为准确的成本维护视图,建立最优化的商业经营模式。 3.市场研究。安装搜集运营数据的装置,实时连续地收集网络信息,使我们更快地对市场做出反应;利用菜单变化、餐厅设计以及劳动生产力的培训程度对销售额影响进行建模,获取各因素与销售额的相关关系。 4.个人服务。它能自动记录个人经常出现的地理位置,并自动生成为数据图表,帮助分析个人行程路线、生活场所,变成"个人生活助理工具";也可以通过手机App搜集全球人们对于特定问题的看法,找出对于大众生活的若干观察,调查社会群众对于热门话题的立场。 除此之外,大数据还在其他领域有着重要的作用,并且随着大数据收集、整合以及分析技术的提升,大数据的应用领域势必将更加广阔。大数据正驱动着传统产业向现代化、"数据化"产业过渡。 二、国外大数据产业的发展 (一)美国 2004年,布什政府通过司法程序,将"星风"监视计划分拆为由国家安全局执行的4个监视计划,除"棱镜"外,还包括"主干道"、"码头"和"核子"("棱镜"用于监视互联网个人信息)。加上已被有关机构掌握的个人信用数据、犯罪记录和人口统计等数据,美国公民的一切行为数据基本上被收集储存。 近日,由前美国中央情报局(CIA)雇员斯诺登揭秘的"棱镜门"持续发酵。据斯诺登爆料,美国国家安全局和联邦调查局于2007年启动了一个代号为"棱镜"的秘密监控项目,直接进入美国网际网络公司的中心服务器里挖掘数据、收集情报。在美国犹他州专门用于储存数据的美国"间谍中心"也正在紧锣密鼓地修建中。该数据中心主要用于收集、存储、分析信息,破解密码,打击恐怖主义及拦截来自世界各地通信,支持奥巴马政府的综合国际网络安全倡议,并为情报界提供支持。此外,金融信息、国外的军事情报、外交情报以及一些法律文件等也都会在这里进行解密。 而作为奥巴马开放政府承诺的产物,2009年至今Data.gov(美国政府数据库)全面开放了40万联邦政府原始数据集。日前Data.gov宣布采用新"开源政府平台"管理数据,代码将向各国开发者开放。因此从这个角度看,大数据已成为美国国家创新战略、国家安全战略、国家ICT产业发展战略以及国家信息网络安全战略的交叉领域、核心领域。2012年3月,奥巴马政府将"大数据战略"上升为最高国策,认为大数据是"未来的新石油",将对数据的占有和控制作为陆权、海权、空权之外的另一种国家核心能力。 首批共有6个联邦部门宣布投资2亿美元,共同提高收集、储存、保留、管理、分析和共享海量数据所需核心技术的先进性,并形成合力;对信息技术研发投入推动超级计算和互联网的发展。目前,已有美国大学专门开设了研究大数据技术的课程,培养下一代的"数据科学家",一些美国公司也在向大学提供教育研究资助,并赞助与大数据有关的比赛,扩大大数据技术开发和应用所需人才的供给,提高美国的科学发展、环境与生物医药研究、教育和国家安全的能力;美国国家卫生研究院开展的免费开放国际千人基因组计划,它将创建的人类遗传变异研究数据集,供研究人员自由访问和使用;美国国家科学基金会和美国国家卫生研究院对大数据进行联合招标,改进核心科学与技术手段,提高从各种大型数据集中提取重要信息并对其进行有效管理、分析和可视化的能力;美国国防部则计划每年投资2.5亿美元左右,在各个军事部门开展一系列研究计划,以创新方式使用海量数据,通过感知、认知和决策支持的结合,加强大数据决策能力;美国能源部则将斥资2500万美元建立可扩展数据管理与可视化研究所(SDAV),帮助科学家对数据进行有效管理,促进其生物和环境研究计划、美国核数据计划等的研究成果。美国正在握紧大数据这个人类科技领域的最新仪表盘,以求继续保持科技领先地位。当然从现在来看,说大数据改变美国政治或政府的确有些夸张,但从另一层面看,美国政府的开放性数据服务转型正走在世界前列。(二)英国 虽然经济不景气,财政收紧,但大数据依然是英国政府重点发展的科技领域。今年年初,英国商业、创新和技能部宣布,将注资6亿英镑发展8类高新技术,大数据独揽其中的1.89亿英镑,将近三成。负责科技事务的国务大臣戴维·威利茨说,政府将在计算基础设施方面投入巨资,加强数据采集和分析,这也将吸引企业在这一领域的投资,以求在数据革命中占得先机。 今年,英国首个综合运用大数据技术的医药卫生科研中心在牛津大学成立。英国首相卡梅伦在揭牌仪式上说,这一中心的成立有望给英国医学研究和医疗服务带来革命性变化,它将促进医疗数据分析方面的新进展,帮助科学家更好地理解人类疾病及其治疗方法。据介绍,这个研究中心总投资达9000万英镑,可容纳600名科研人员。中心通过搜集、存储和分析大量医疗信息,确定新药物的研发方向,减少药物开发成本,同时为发现新的治疗手段提供线索。同时,以英国为首的欧洲核子中心(CERN)将在匈牙利科学院魏格纳物理学研究中心建设一座超宽带数据中心。建成后,魏格纳数据中心将成为连接CERN且具有欧洲最大传输能力的数据处理中心,未来该设施在处理大型强子对撞机(LHC)的数据以及实验方面发挥重要作用。 威利茨指出,成功的高新技术战略不仅要着眼于科研本身,更应着力于推动新技术从实验室到商业应用的转化。大数据创造价值是基于这样一个核心逻辑,即当今社会在商业、经济、政府及相关领域中,决策行为越来越取决于数据和分析,而不再是经验和直觉。大数据技术可以为决策提供一定的"预见参考",而成功的分析和预见往往能带来商业和经济价值。 (三)日本 日本面临着由于长期经济低迷导致国际地位下降、人口老龄化以及日益增大的社会保险费用和社会基础设施老化等诸多问题。为了扭转这一现状,日本政府决定通过大力发展IT产业,特别是大数据及开发数据和云计算。日本从2006年开始的《IT新改革战略》推出了促进ICT(Information、Communication、Technology)应用的战略。在2010年由新执政的日本民主党政府领导下IT战略本部启动了《新信息通信技术战略》,5月发布《智能云研究报告》明确提出智能云战略,促进智能云服务的推广普及、新一代云技术的战略性研发、开展云技术相关的国际合作。同年6月份推出的IT战略实施工程表中将中央和地方政府行政、医疗保健、教育、农业等公共领域作为推广云计算的重要领域。同时,为了提高信息通信领域的国际竞争力、培育新产业,应用信息通信技术应对抗灾救灾和核电站事故等社会性问题。2012年7月新发布"活跃ICT日本"新综合战略,积极利用云技术改革行政业务办事流程,构筑政府信息公共平台,促进不同系统间的沟通合作,最终建立一个全国统一的电子政务服务体系。2013年,推出的新ICT战略,将致力于提升日本经济的效率,在网络上实现行政信息全部公开并可被重复使用,以进一步推进开放政府的建设进程。2013年6月,日本第二次安倍内阁正式公布了新IT战略--"创建最尖端IT国家宣言"。全面阐述以发展开放公共数据和大数据为核心的日本新IT国家战略,提出要把日本建设成为一个具有"世界最高水准的广泛运用信息产业技术的社会",并且,将其发展成就扩展到国际范围内。目前,无论在大数据技术还是企业实际应用方面,日本都在亚洲占据明显优势。 对于大数据的探索和发展,欧美和日本已经走在世界的前列。各国政府已将大数据发展提升至战略高度,创造积极的政策、法律环境;增加产业发展的财政投入,加强人才培养和核心技术的研发,建立先进、巨大的数据中心,促进大数据产业发展。 三、对我国的启示和建议 那么,面对国际社会大数据发展的热潮,作为全球第二大经济体,我们政府应当如何抓住大数据战争的脉搏,制定合理的策略,以促进我国经济的进一步高速发展? (一)上升为战略角度,制定规划 从国家战略层次的角度出发,将大数据产业发展纳入国家发展的战略性项目,与国际大数据发展接轨,解决现阶段大数据发展的核心问题。启动、设立国家级"数据银行",对数据资产的交易和流通进行保护,占领国际数据资产制高点。制定大数据发展的"三年规划"或"五年规划",制定产业发展的阶段性目标,完成阶段性任务,力争国际社会大数据发展的优势地位。 (二)加大关键技术的研发和应用 就核心技术而言,要给予核心技术、知识产权以专利保护,激励软件开发的积极性;充分利用中国人口数量多产生数据量大,大学生基数大的人才资源雄厚的优势,培养从事大数据科研工作的尖端人才进行关键技术研发,实现核心技术的突破。政府要扫清大数据产业化发展的一切阻力,促进大数据技术从实验室到工业化生产的转移,加强大数据在实际生活生产方面的应用,推进大数据核心技术产业化发展的步伐,创造大数据的社会价值。 (三)出台鼓励政策,加大财政税收扶持 政府要为大数据的发展提供积极的鼓励政策;优先发展在重要部门应用的大数据产业,降低大数据发展的门槛;建立大数据科技研发部门,加大大数据科研及相关人才需求的缺口,刺激大数据人才市场的发展;完善科技创新奖励机制,创造良好的科研环境。 加强财政税收扶持,政府要增加大数据产业的财政投入。每年扶持资助一批获得大数据核心技术突破并实现产业化的项目,设立大数据产业发展专项基金;对大数据企业按比例减免营业所得税,为企业提供补贴,重点扶持核心技术部门的发展。 (四)拓宽融资渠道,创新融资方式 为了给大数据发展创造良好的融资环境,必须拓宽融资渠道。首先,政府参与,为大数据产业提供启动资金、搭建信贷平台,拓宽融资渠道;其次,充分利用银行贷款,提高大数据产业银行贷款信用;最后,扶持企业进入资本市场,通过引导大数据企业进入资本市场,通过上市直接在资本市场上融资,充实资本实力。 由于大数据产业发展的特殊性,可以创新融资方式。一是私募股权融资,融资对象以管理层为主,内部职工适度参与;二是"转贷"民间借贷;三是商业信用,企业以商品让渡的形式为下游企业提供融资。 |