%0 Journal Article
%A 胡志刚
%A 刘秀磊
%A 于俊洋
%T HDFS平台上以能效为考量的小文件合并
%D 2015
%R 10.13190/j.jbupt.2015.06.008
%J 北京邮电大学学报
%P 34-38
%V 38
%N 6
%X <p>为了解决Hadoop分布式文件系统(HDFS)平台上小文件的存在带来MapReduce程序运行能耗成本偏高问题,建立Hadoop节点集群的能耗模型进行分析推导,证明了在Hadoop平台上,存在能使程序运行能耗成本最低的最优文件大小,并在此基础上结合经济学边际分析理论提出一种基于能耗成本和访问成本考虑的最优文件大小判定策略. 此策略可以对存放在HDFS上的小文件合并进行效益计算,将小文件合并为成本最优文件大小以获得最佳收益. 通过实验证明了能效最优数据块大小的存在,并通过实验证明了成本和效益相结合利用边际分析理论来确定数据块大小的合理性和有效性.</p>
%U https://journal.bupt.edu.cn/CN/10.13190/j.jbupt.2015.06.008