大数据引领我们走向智能化时代(2)

　　大数据概念给出的定义：大数据是一个体量特别大、类别特别大的数据集，并且无法用传统数据库工具对其内容进行抓取、管理和处理。首先，数据体量（Volumes）大，在实际应用中已形成了PB级的数据量；其次，数据类别（Variety）大，囊括了半结构化和非结构化数据。接着，数据处理速度（Velocity）快，在数据量非常庞大的情况下能够做到数据的实时处理。最后，数据真实性（Veracity）高，企业愈发需要有效的信息以确保其真实性及安全性。

　　研究机构给出的定义：大数据是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。从数据的类别上看，大数据指的是无法使用传统流程或工具处理或分析的信息。它定义了那些超出正常处理范围和大小、迫使用户采用非传统处理方法的数据集。

　　2 大数据分析的现状和面临的困境

　　大数据具有海量、多源、复杂的信息属性和高端、前沿的技术特征，是继云计算、物联网之后又一次颠覆性的技术革命。大数据使人的思维方式、行为模式、管理理念发生全方位变革，在各个领域蕴含巨大的应用潜力和创新空间。为了尽快加入大数据实践的行列，从海量数据中获取价值，把大数据转为企业敏锐的洞察力，驱动业务的长足发展，许多企业和管理者盲目收集数据并进行分析，期待能够得到快速的回报。但很遗憾，大多数企业距离从数据中提取利润都差着十万八千里。

　　2.1 现状

　　数据量：由TB级升至PB级，并仍在持续爆炸式增长。根据WinterCorp的调查显示，最大的数据仓库中的数据量，其增长速度远超摩尔定律增长速度。照此计算，2015年最大数据仓库中的数据量将逼近100PB。数据的快速增长成了许多行业共同面对的严峻挑战和宝贵机遇。

　　分析深度：由常规分析转向深度分析，数据分析日益成为企业利润必不可少的支撑点。企业已经不满足于对现有数据的分析和监测，而是更期望能对未来趋势有更多的分析和预测，从而增强企业的竞争力。

　　硬件环境：由高端服务器转向由中低端硬件构成的大规模机群平台。由于数据量的迅速增加，并行数据库的规模不得不随之增大，从而导致其成本的急剧上升。出于成本的考虑，越来越多的企业将选择由中低端硬件构成的大规模机群平台。

　　2.2 困境

　　数据共享不足：高度数据开放是数据应用的前提。目前一些机构拥有大量数据但不愿提供给有关部门共享，导致信息不完整或重复投资。另外，政府、企业和行业信息化系统建设往往缺少统一规划和科学论证，数据之间缺乏统一的标准，形成了众多“信息孤岛”。无疑，这给数据应用造成极大障碍。

　　技术人才匮乏：高端技术人才是数据应用的关键。麦肯锡公司预测美国到2018年需要深度数据分析人才44～49万，缺口14～19万人；需要既熟悉本单位需求又了解大数据技术与应用的管理者150万，这方面的人才缺口更大。

　　3 大数据分析的意义

　　近年来，包括互联网、物联网、云计算等信息技术在内的IT通信业迅速发展，现代信息社会已经进入了大数据时代。大数据改变的不只是人们的日常生活和工作模式、企业运作和经营模式，甚至还引起科学研究模式的根本性改变。

　　大数据中蕴含着大价值，大数据价值的合理共享和利用将创造巨大的财富。大数据智能分析能够给智慧城市的管理和服务系统提供新的洞察力，是提升智慧城市“智商”的关键。以大数据技术为支撑的综合智能化分析和决策系统，使智慧城市的管理系统和服务系统充分、有效、合理地发挥各自的作用，解决目前困扰各地的“信息孤岛”现象，做到信息资源的共享、智能决策的集成，实现智慧城市让城市生活更美好、更幸福的目标。

　　4 大数据分析方法

　　大数据不单单是数据大，而且呈现了不断增长的复杂性。当前最重要的是对大数据进行分析，只有通过分析才能获取智能的、深入的、有价值的信息，大数据分析方法是决定最终信息是否有价值的决定性因素。

　　可视化分析：在信息化建设过程中，数据可分为三种类型：结构化数据，非结构化数据和半结构化数据。由于所涉及到的数据比较分散、数据结构可能不统一，而且通常以人工分析为主，加上分析过程的非结构性和不确定性，所以不易形成固定的分析流程或模式，很难将数据调入应用系统中进行分析挖掘。借助功能强大的可视化数据分析平台，可辅助人工操作将数据进行关联分析，并做出完整的分析图表。

　　数据可视化的优点：第一，交互性强。用户不仅能看数据，还能方便地管理和开发数据。第二，多维性好。通过每一维的值分类、排序、组合来显示数据的多个属性或变量。第三，直观度高。数据可以用图像、曲线、二维图形、三维体和动画来显示。

　　数据挖掘算法：数据挖掘是一个从不完整的、不明确的、大量的并且包含噪声的具有很大随机性的实际应用数据中，提取出隐含其中、事先未被人们获知、却潜在有用的知识或模式的过程。数据挖掘在有效处理海量且无序的数据时，还能够发现隐藏在这些数据中的有用的知识，最终为决策服务。数据挖掘就是利用一系列相关算法和技术从大量的数据中提取出为人们所需要的信息和知识，隐藏在数据背后的知识，可以以概念、模式、规律和规则等形式呈现出来。

　　论文榜（www.zglwb.com），是一个专门从事期刊推广、投稿辅导的网站。
本站提供如何投稿辅导，寻求投稿辅导代理，快速投稿辅导，投稿辅导格式指导等解决方案：省级投稿辅导/国家级投稿辅导/核心期刊投稿辅导//职称投稿辅导。


期刊鉴别	论文检测	免费论文	特惠期刊	学术答疑	发表流程

搜索

大数据引领我们走向智能化时代(2)