当前位置: 首页 > Linux

HDFS架构简述

时间:2023-04-07 01:15:51 Linux

读写:客户端通过命名空间发送请求,可以无感知的找到活跃的NN。activeNN执行的操作会保存在editlog文件中,editlog会写入JournalNode节点。当DN向NN发送心跳报告时,NN将对editlog的数据操作发送给DN执行。HA:standbyNN会实时从JN读取editlog信息,进行replay,并与activeNN保持数据同步。如果主用NN挂掉了,ZKFC会监听它,在向zk集群发送心跳报告的时候会上报这个消息,zk集群会进行选举,被选出的备NN所在节点的ZKFC进程会收到通知。它将NN的状态切换为活动状态。配置:同zk,JN需要配置2n+1。有20个HDFS节点,配置了5个JN;20~100个HDFS节点,配置7/9/11个JN;超过100个HDFS节点,11个JN就够了。JN的配置数量要根据写请求的频率来决定,但是越多越好,过多会因为halfpass机制导致性能下降。