【 摘 要 】 随着网络的普及和应用,诞生了海量的网络数据,核心期刊因此针对海量网络数据实施有效的存储,可以提高数据的访问效率和安全性。文章详细地分析了海量网络数据智能分级存储现状,提出了一种智能分级存储系统,并且研究了智能分级存储的数据分类技术、数据放置技术、数据迁移技术等关键技术。
【 关键词 】 海量网络数据;智能分级存储;数据迁移;数据分类
1 引言
随着计算机技术、网络技术和数据库技术的快速发展,智能的、自动化的数据采集、存储技术,已经成为许多人研究的对象,智能网络安全可靠的运行,需要动态采集数据信息,实时地针对智能网络运行数据进行查询和监控,实现高效数据传输和共享。但是,智能网络数量众多,分布范围广泛,面对海量的、动态的、分布式的多源异构网络数据,传统存储模式已经无法满足实时性、可靠性的需求。因此,寻求一种适合现代海量网络数据存储的模型,已经成为许多学者研究的热点。海量数据存储系统中,许多数据长期不用,部分数据高频次使用,比如最新采集的数据在一段时间内会被经常性地访问,随着时间的推移,该部分数据访问频率将会大大地下降。因此,针对海量数据采用智能分级存储系统,可以有效地缩短数据访问和传输时延,提高数据的查询准确度,保证网络数据存储的安全性和可靠性,确保网络数据能够更好地为人们提供服务。
2 智能分级存储系统
海量网络数据智能分级存储系统可以采用直连式存储DAS或网络连接存储NAS构建分级存储。DAS存储设备可以使用光缆直连网络数据服务器,用户的读写请求可以直接发送到相关的网络存储设备上,能够有效支撑多存储设备的操作系统均可以采取DAS进行智能分级存储。NAS通常应用于数据共享过程中,能够基于网络实现文件级锁定,为智能分级存储系统提供高级的并发访问保护功能,实现异构环境共享数据文件。
海量网络数据智能分级存储系统的各个存储硬件设备使用NAS或DAS方式连接在一起,存储网络可以将用户的读写请求发送给关联的存储设备,存储设备完成数据操作,并且将结果反馈给请求程序。另外,智能分级存储系统根据文件的活跃程度,可以实现不同级别的数据在各个存储设备之间的自动化迁移。
3 智能分级存储关键技术
智能分级存储系统可以实现海量网络数据的自动化、分层化管理,实现数据的高效访问和存取,提高存储系统的资源利用率。智能分级存储系统的关键技术包括数据分类、数据放置和数据迁移等,这些技术可以有效地保证智能分级存储系统的访问有效性、存储可靠性和数据的准确性。
3.1 数据分类技术
数据分类可以定义海量网络数据的访问属性,根据不同的用户逻辑业务主题,参考数据的重要程度,对海量数据进行分类,实现智能分级存储,其是数据迁移的基础。
目前,网络数据分类没有统一的标准,可以根据网络数据的实际应用环境和用途,将数据分为硬件系统运行数据、软件系统运营数据等;可以根据数据自身的原始类型,将其分为非结构化、半结构化、结构化数据;根据数据的访问读写频次,将数据分为热点数据和非热点数据;根据数据的访问顺序,将数据分为周期性访问、顺序访问和只读数据。随着数据分类方法的研究,为了提高数据分类的精准程度和有效性,目前数据分类常用的策略包括基于知识、基于专家系统、基于案例等,数据分类实现方法可以包括静态分类、人工经验分类、动态分类等。基于人工经验分类方法需要数据操作人员熟练掌握网络运营数据内容,需要长时间积累数据管理和分类经验,因而一定程度上无法准确把握数据分类的合理性和准确性;静态分类是指存储系统构建完成后,预先设置数据分类主题和规则,设置完成后无法再改变,不能适应现代电力运营数据的多样化需求,存在较大的局限性;动态分类可以有效满足数据分类的各种需求,不断地适应业务需求的变化,具有很强的灵活性和适应性,并且不需要人工干预,使用数据挖掘、模式识别、机器学习、统计方法和自动控制理论等智能化数据分类,降低数据管理的复杂度。 |