当前位置: 首页 > 科技观察

HadoopYARN

时间:2023-03-12 00:56:16 科技观察

代码托管地址:ApacheSVNYARN又名MapReduce2.0。YARN借鉴Mesos提出了资源隔离方案Container,但目前还不成熟,仅提供Java虚拟机内存隔离。与MapReduce1.x相比,YARN架构在客户端没有太大变化,大部分API和接口仍然兼容。而在YARN中,开发者使用ResourceManager、ApplicationMaster、NodeManager来替代原有的框架。核心是JobTracker和TaskTracker。其中,ResourceManager是一个中心服务,负责调度和启动各个Job所属的ApplicationMaster,同时也监听ApplicationMaster的存在;NodeManager负责维护Container的状态,维护心跳给RM。ApplicationMaster负责一个Job生命周期中的所有工作,类似于旧框架中的JobTracker。