当前位置: 首页 > 科技观察

JeffMarkham:HadoopYARN的高可用

时间:2023-03-11 23:03:55 科技观察

【独家专题】在2013中国Hadoop峰会上,Hortonworks的CTOJeffMr.Jeff与我们分享了YARN在大数据中的应用。Jeff首先谈到了YARN相对于MESOS的一些优势。比如结构更简单,用户不需要设计太复杂的项目。在可扩展性方面,YARN也有自己的优势。Yarn框架相对于旧的MapReduce框架有哪些优势?我们可以看到,这样的设计大大降低了JobTracker(现为ResourceManager)的资源消耗,并且使得监控各个Job子任务(tasks)状态的程序分布式,更安全,更美观。在新的Yarn中,ApplicationMaster是一个可变的部分。用户可以针对不同的编程模型编写自己的AppMst,让更多类型的编程模型可以运行在Hadoop集群中。可以参考HadoopYarn官方配置模板中的mapred-site.xml配置。资源的表示以内存为单位(在当前版本的Yarn中,不考虑cpu占用),比之前的剩余槽数更合理。在老框架中,JobTracker的一个很大的负担就是监控job下的task的运行状态。现在,这部分丢给了ApplicationMaster,ResourceManager中有一个模块叫做ApplicationsMasters(不是ApplicationMaster),负责监控ApplicationMaster,如果出现问题,会在另一台机器上重启。Container是Yarn提出的一种未来用于资源隔离的框架。这一点应该是借鉴了Mesos的工作,Mesos目前是一个只提供java虚拟机内存隔离的框架。hadoop团队的设计思路,未来应该支持更多的资源调度和控制。由于资源是用内存来表示的,所以没有这样就消除了之前的mapslot/reduceslot分离导致集群资源闲置的尴尬情况。