摘要 返回
     
HDFS小文件读写优化策略
 

HDFS是一种高容错性的分布式系统。它支持的数据集在GB到TB级别, 然而对大量小文件存取支持不足。由于在处理大数量级的小文件时, 会使得NameNode内存消耗过度, 造成文件的存取性能降低。因此提出了一种根据文件类型分类小文件的合并策略。通过建立索引信息服务器来存储存放在用户文件中的小文件的元数据信息, 可以达到高效读取小文件的目的。实验结果表明, 该优化策略能有效降低NameNode内存消耗, 提高HDFS文件系统对大量小文件读取效率。

 
(全文阅读请到中国期刊全文数据库)



 
   
读者园地  
   
 
 
地址:  杭州市五常港路121号西溪创智中心四号楼807室    《计算机时代》编辑部
邮编:  310012      电话:  (0571)85118010   (0571)85119435   E-mail:  Computer_era @ vip.163.com
浙ICP备10035352号