基于大数据技术的网络日志分析系统研究(2)

　　map（key，value）
　　emit（value.SourceIP，1）
　　reduce（key，values[v1；v2；...]）
　　i=0
　　forvalinvalues[v1；v2；...]
　　i++
　　emit（key，i）
　　3实验与效果评价
　　网络日志分析系统由8台普通PC（Inteli53.2GHzCPU、4GBRAM）组成，其中1台为Master，6台为Slave，1台为Syslog日志服务器。安装软件为：CentOS5.5，Hadoop1.0.2，HBase0.92.1，Hive0.9.0。
　　实验1：加速比实验
　　该实验衡量并行算法的执行效果和性能。首先定义加速比（Speedup）的概念，如式（1）所示：
　　[Sn=T1Tn]（1）
　　式中：Tn是IPStats?MR算法在n个Slave组成的集群上运行的时间；T1是只启动1个Slave时算法所运行的时间。
　　分别完成4组实验：启动1个，2个，4个或6个Slave。实验结果如图2所示，它显示了数据集固定时，不断增加计算节点对并行算法的性能影响。
　　图2IPStats?MR算法的加速比曲线图
　　由于MapReduce框架会将计算工作分配到n个Slave上，理论上每增加一个计算节点，运算速度应该加快1倍。但从图2可以看出，实际情况没有达到这个效果。主要原因是各节点之间的通信、同步、调度等额外开销，而且节点越多，上述开销也越大。不过即使如此，加速比也基本接近线性增长。
　　实验2：等效度量实验
　　该实验评估增大问题规模对并行算法的性能影响。加速比的最大值是计算结点数n，但由于额外开销的影响，实际上加速比Sn小于n，因此用等效度量指标（ISO?efficiency）反映加速比接近n的程度，如式（2）所示：
　　[E=Snn=11+T0T1]（2）
　　式中：T0为系统并行处理所引起的额外时间开销。
　　实验在启动2个、4个或6个Slave的情况下，对不同的数据规模（日志文件大小分别为3.8GB，8GB，20GB）运行IPStats?MR算法。实验结果如图3所示，随数据规模增大，等效度量指标提高；随Slave个数增加，等效度量指标降低。但随着数据规模、Slave个数同时增加，等效度量指标保持常数。2个Slave处理3.8GB日志文件，4个Slave处理8GB日志文件，6个Slave处理20GB日志文件，等效度量指标E都保持在0.75左右。这说明当系统处理的数据增多时，能通过计算节点的增加来弥补性能的损耗，即IPStats?MR算法表现出良好的可扩展性。
　　图3IPStats?MR算法的等效度量曲线图
　　4结语
　　网络日志的分析与挖掘技术在信息安全领域有着广泛的应用。传统的单机运算模式及算法在处理当前的海量数据时，暴露出诸多缺点。本文依托大数据技术，提出分层的网络日志分析系统，对传统的IP统计算法进行了MapReduce化。实验结果表明，大数据平台在处理数据密集型计算方面具有性能优势，能有效解决海量数据处理的伸缩性和实时性问题。
　　【参考文献】
　　[1]姜传菊.网络日志分析在网络安全中的作用[J].现代图书情报技术，2004（12）：58?60.
　　[2]DEANJ，GHEMAWATS.MapReduce：simplifieddataprocessingonlargeclusters[J].CommunicationsoftheACM，2008，51（1）：107?113.
　　[3]GHEMAWATS，GOBIOFFH，LEUNGST.TheGooglefilesystem[J].ACMSIGOPSOperatingSystemsReview，2003，37（5）：29?43.
　　[5]孟小峰，慈祥.大数据管理：概念、技术与挑战[J].计算机研究与发展，2013（1）：146?169.
　　[6]孔世明.基于最小生成树聚类算法在云计算平台下的设计与实现[J].科技通报，2013，29（8）：100?102.
　　[7]李学龙，龚海刚.大数据系统综述[J].中国科学：信息科学，2015（1）：1?4.
　　[8]陈超，张顺仕，尚守卫，等.大数据背景下电力行业数据应用研究[J].现代电子技术，2013，36（24）：8?11.
　　[10]李锦川，钱秀槟，方星.基于国产操作系统的网络日志管理系统构建[J].计算机安全，2010（10）：59?61.

　　论文榜（www.zglwb.com），是一个专门从事期刊推广、投稿辅导的网站。
本站提供如何投稿辅导，寻求投稿辅导代理，快速投稿辅导，投稿辅导格式指导等解决方案：省级投稿辅导/国家级投稿辅导/核心期刊投稿辅导//职称投稿辅导。


期刊鉴别	论文检测	免费论文	特惠期刊	学术答疑	发表流程

搜索

基于大数据技术的网络日志分析系统研究(2)