大数据引领我们走向智能化时代(3)

　　预测性分析能力：根据可视化分析和数据挖掘的结果，预测性分析可做出一些预测性的判断。可视化分析和数据挖掘都是前期铺垫工作，只要在大数据中挖掘出信息的特点与联系，就可以建立科学的数据模型，通过模型带入新的数据，从而预测未来的数据，大数据分析最终要实现的应用领域之一就是预测性分析。大数据的预测分析能力，能够帮助企业分析未来的数据信息，有效规避风险。在通过大数据的预测性分析之后，无论是个人还是企业，都可以比之前更好地理解和管理大数据。

　　语义引擎：非结构化数据的多元化给数据分析带来新的挑战，我们需要一套工具系统的去分析，提炼数据。语义引擎需要设计到有足够的人工智能以足以从数据中主动地提取信息。

　　数据质量和数据管理：大数据分析离不开数据质量和数据管理，高质量的数据和有效的数据管理，无论是在学术研究还是在商业应用领域，都能够保证分析结果的真实和有价值。

　　5 大数据技术

　　大数据环境下，数据来源非常丰富且数据类型多样，存储和分析挖掘的数据量庞大，对数据展现的要求较高，并且很看重数据处理的高效性和可用性。然而，传统的数据采集来源单一，且存储、管理和分析数据量也相对较小，大多采用关系型数据库和并行数据仓库即可处理；传统的并行数据库技术追求高度一致性和容错性，难以保证其可用性和扩展性；传统的数据处理方法是以处理器为中心，而大数据环境下，需要采取以数据为中心的模式，减少数据移动带来的开销。

　　在数据采集方面使用的新方法有以下几种。

　　系统日志采集方法：用于系统日志采集，如Hadoop的Chukwa，Cloudera的Flume，Facebook的Scribe等，这些工具均采用分布式架构，能满足每秒数百MB的日志数据采集和传输需求。

　　网络数据采集方法：用于非结构化数据的采集，将非结构化数据从网页中抽取出来，将其存储为统一的本地数据文件，并以结构化的方式存储。它支持图片、音频、视频等文件或附件的采集，附件与正文可以自动关联。

　　其他数据采集方法：对于企业生产经营数据或学科研究数据等保密性要求较高的数据，可以通过与企业或研究机构合作，使用特定系统接口等相关方式采集数据。

　　6 大数据工作的开展

　　第一个是完善信息采集平台。充分利用物联网等技术，使越来越多的基础设施具备信息自动采集和迅捷采集的能力，便于信息的获取更加便捷和高效。扩展采集的设备类型和支持的协议类型，使数据采集的范围和通道越来越广。在此基础上，打破各行业的信息资源壁垒，实现信息资源的高度整合和共享。

　　第二个是加强大数据分析和挖掘。大数据如何为我所用，如何体现价值，缺少大数据分析光有一堆大数据的堆积和存储是没有任何意义的。我们应结合重点行业，如水利、交通、城管、公共安全，推动这些行业的大数据分析和预测挖掘系统，并以典型行业和典型项目为基础逐步扩展。

　　第三个是推动大数据可视化。现代城市产生的数据量非常大，对数据价值的挖掘不能只依靠数字和报表，北大核心期刊大数据可视化有助于帮助用户更形象地分析、挖掘数据的价值。通过数据可视化方式，包括GIS和专业图形的可视化方式，用非常直观的方式帮助业主去获取数据价值，从而分析、挖掘数据中间的关系和趋势。数据可视化方式是我们未来发展的重点。

　　参考文献

　　[1] 维克托·迈尔-舍恩伯格.大数据时代：生活、工作与思维的大变革[M].盛杨燕，周涛，译.浙江：浙江人民出版社，2013.

　　[2] 孟小峰，慈祥.大数据管理：概念、技术与挑战[J].计算机研究与发展，2013， 50（1）：146-169.

　　[3] 李芬，朱志祥，刘盛辉.大数据发展现状及面临的问题[J].西安邮电大学学报，2013，18（5）：100-103.

　　[4] 王元卓，靳小龙，程学旗.网络大数据：现状与展望[J].计算机学报，2013，36（6）：1125-1134.

　　[5] 王珊，王会举，覃雄派，等.架构大数据：挑战、现状与展望[J].计算机学报，2011，34（10）：1741-1751.

　　[6] 李战怀，王国仁，周傲英.从数据库视角解读大数据的研究进展与趋势[J].计算机工程与科学，2013，35（10）：1-10.

　　论文榜（www.zglwb.com），是一个专门从事期刊推广、投稿辅导的网站。
本站提供如何投稿辅导，寻求投稿辅导代理，快速投稿辅导，投稿辅导格式指导等解决方案：省级投稿辅导/国家级投稿辅导/核心期刊投稿辅导//职称投稿辅导。


期刊鉴别	论文检测	免费论文	特惠期刊	学术答疑	发表流程

搜索

大数据引领我们走向智能化时代(3)