基于云计算的Web数据挖掘研究

　　【摘要】数据挖掘技术是当前数据库和人工智能领域研究的热点。文章从云计算的概念及关键技术出发，详细阐述了在云计算下的Web数据挖掘的各种技术方法，分析了Web数据挖掘技术，并对云计算基础上的Web数据挖掘进行了探讨。

　　【关键词】云计算；Web数据；数据挖掘；海量数据；数据预处理

　　1 引言

　　Web搜索技术在一定程度上解决了用户查找网络信息的问题，经济学论文但却没有解决知识发现的问题，并没有充分地揭示Web信息资源中隐藏的知识，人们迫切需要一种比Web数据挖掘技术更高，可以从Web上快速、有效地发现资源和知识的技术，基于云计算机的Web数据挖掘技术因此应运而生。

　　2 云计算及关键技术

　　2.1 云计算的定义

　　在维基百科中，云计算被表述为一种基于互联网的计算，在其中共享的资源、软件和信息以一种按需的方式提供给计算机和设备，就如同日常生活中的电网一样。云计算一般们提供的是基于Web浏览器的、在线商业应用程序的服务。云计算的概念已经超越了单纯的软件交付。

　　2.2 虚拟化技术

　　虚拟化是云计算最重要的技术基础，虚拟化技术实现物理资源的统一表示和逻辑抽象。通过虚拟化技术可以提高资源利用率，可以改变根据用户的业务需求，快速和灵活的资源部署。虚拟化技术不仅可以扩大硬件的容量而且可以简化软件的重新配置过程。CPU虚拟化技术还可以用单CPU模拟多CPU并行，允许一个平台同时运行多个操作系统，同时应用程序可以运行在空间上，并且相互独立的、相互影响，从而显著提高计算机的效率。如果虚拟化的未来发展将包含更多的元素，多元化的服务器、存储和网络，用户将无法区分什么是虚拟的，什么是真实的。虚拟化将改变目前传统的IT基础设施和互联网的所有资源都在一起形成一个大型计算中心，而我们却不用关心所有这一切，而只需关心提供给自己的服务是否正常。

　　2.3 并行编程模型

　　并行编程模式，通俗地说就是指并行编程的一种形式，一种方式，就像串行编程时，你是采用过程式还是结构化一般。并行编程模式只要指并行编程时，程序员将程序各模块并行执行时，模块间的通信方式，并行计算模型是提高海量数据处理效率的常用方法。云计算环境下的并行计算机模型属于面向互联网数据密集型应用的并行编程模型，云计算下把海量数据分布到多个结点上，将计算机并行化，利用多个计算机的计算资源，加快数据处理的速度。

　　为保证高可靠性、高可用与经济性，云计算通常是采用分布式存储的方式来对数据进行存储，使用冗余存储的方式来保证存储数据的可靠性，也就是说，同一数据的多个副本存储、云计算系统由大量服务器，以及大量用户，因此，云计算系统使用分布式数据存储模式，冗余存储的方式来保证数据的可靠性。

　　3 Web数据挖掘

　　Web数据挖掘是数据挖掘的延伸和发展，数据挖掘是指从大量的、不完全的有噪声、模糊的、随机的数据集中识别有效的、新颖的、潜在有用的及最终可理解的模式过程。而Web数据挖掘技术是应用挖掘技术自动从Web文档和服务器上发现并提取有用信息的过程。尽管Web挖掘用到很多数据挖掘的技术，但Web挖掘不能和传统的数据挖掘等同起来，它不仅仅是直接在互联网中寻找到有用的信息，而且在复杂的网络信息中找到规律，从而实现信息的快速查找。

　　4 云计算技术下的Web数据挖掘

　　云计算技术下的Web数据挖掘借助于云计算的关键技术，实现传统Web数据挖掘技术的优化。云计算的并行处理和海量存储能力解决了数据挖掘所面临的海量数据处理问题。

　　4.1 数据的收集

　　数据收集是Web使用挖掘的基础，Web使用挖掘的对象是日志信息，是用户与系统交互时留下的日志数据，并存储在一个数据仓库。如果数据仓库的问题是数据可能会丢失。收集到的数据在云计算下对数据信息在网络上进行第一次筛选、转换和统一，并最终从数据后可以转化为一个统一的半结构化的XML文件，将其保存在一个分布式文件系统。因此，不仅可以优化数据收集方法，并避免存储数据的损失由设备故障引起的。云计算下的数据挖掘是一个很好的能保证共享技术，降低了数据挖掘应用门槛，使大规模的数据挖掘需要得到满足。

　　论文榜（www.zglwb.com），是一个专门从事期刊推广、投稿辅导的网站。
本站提供如何投稿辅导，寻求投稿辅导代理，快速投稿辅导，投稿辅导格式指导等解决方案：省级投稿辅导/国家级投稿辅导/核心期刊投稿辅导//职称投稿辅导。


期刊鉴别	论文检测	免费论文	特惠期刊	学术答疑	发表流程