当前位置: 首页 > Linux

YARN架构简述

时间:2023-04-07 01:13:24 Linux

HA:RM启动时,会将锁文件写入zk的/mrstore路径。如果写入成功则为activeRM,否则为standbyRM。RM启动后会将作业信息写入/mrstore,RM进程中的ZKFC线程会监听/mrstore中的锁文件。如果不存在,则RM为active,如果存在,则为standby。切换后,作业可以从/mrstore中读取信息。运行:Client提交作业,会访问RM,如果访问了standbyRM,会重新访问activeRM。RM根据从NM收集到的作业上下文和状态信息进行资源分配和调度,并启动一个容器来运行AM。NM负责启动容器,监控其节点的资源使用情况,并通过心跳机制向RM报告。作业的任务将在容器中运行。RM、NM相当于写字楼的manager,RMmanager,NM区域管理,他们提供容器(office);AM相当于项目经理,向写字楼经理申请一个办公室,在他们提供的容器上执行任务,完成客户提交的工作。