2008年国际分布式计算系统会议ICDCS'08文章录用结果揭晓,华中科技大学计算机学院计算机外存储系统国家重点专业实验室教师华宇博士的论文《Scalable and Adaptive Metadata Management in Ultra Large-scale File Systems》被收录为大会宣读论文。
国际分布式计算系统会议(ICDCS,International Conference on Distributed Computing Systems)是国际上在分布式计算相关研究领域的著名国际会议。每年吸引来自世界各地大学、研究所、企业界等从事有关分布式计算和计算机系统方面研究的专家和学者共同研究和讨论在分布式处理、计算机网络、数据管理、可靠性、操作系统和中间件等研究领域的最新研究成果。
《Scalable and Adaptive Metadata Management in Ultra Large-scale File Systems》一文主要研究了大规模海量数据存储系统中的元数据管理问题。目前的很多系统是通过采用元数据服务器(Metadata Server, MDS)来有效地提高系统的性能,然而随着近年来存储系统容量的不断增长,采用单一的元数据服务器来管理整个文件系统的设计已经成为影响系统性能提高的主要瓶颈之一。因此,大规模文件系统中迫切需要能够提供具有可扩展性、自适应性的、高效的元数据管理服务。
文章中提出的基于聚集的Bloom Filter结构方法,是一种能够部署在超大规模文件系统中有效的元数据管理机制。系统设计以优化系统性能为主要设计目标,通过将多个元数据服务器进行聚集,在每个聚集内采用多个元数据服务器来维护整个系统的文件镜像,这种设计方法可以有效地降低单个服务器的负载,同时能够动态地支持元数据服务器的加入和删除等操作。另外,对于聚集内的每个元数据服务器,采用多级的Bloom Filter结构来维护相关的元数据信息,这种结构由多层的Bloom Filter结构组成,Bloom Filter结构用来存储和维护“热点”的数据信息和维护本地的元数据信息。通过基于多个trace数据集的测试,实验结果表明相关的结构设计对于大规模文件系统的元数据管理,在可扩展性和查询性能的有效性等方面具有明显的优势。