当前位置: 首页 > 网络应用技术

上级调度程序:带您了解Fusioninsight MRS的超级调度程序

时间:2023-03-05 20:33:56 网络应用技术

  摘要:Superior Scheduler是为Hadoop纱线分布式资源管理系统设计的调度引擎。这是为企业客户集成资源池和多种企业需求而设计的高性能企业 - 级调度。

  Superior Scheduler是为Hadoop纱线分布式资源管理系统设计的调度引擎。这是为企业客户集成资源池和多种企业需求而设计的高性能企业 - 级调度。

  Superior Scheduler可以实现所有功能,公平调度程序和容量调度程序。与开源调度程序相比,Superior Scheduler与企业 - 级别的多级调度策略,Multi -User Resource Enlion和Multi -use simalation和共享,调度性能,系统资源利用率和大型组可扩展性的支持。设计的目的是允许Superior Scheduler直接替换开源调度程序。

  与开源公交计划程序和容量调度程序类似,Superior Scheduler通过YARN Scheduler插件与纱线资源管理器组件进行交互,以提供资源计划功能。下面的图显示了其整体系统体系结构:

  Superior Scheduler的主要模块如下:

  在计划原则中,开源计划基于资源驱动的资源驱动的资源 - 驱动驱动程序的反向匹配操作的调度机制,特别是,每个计算节点都会向Yarn的资源管理器发送常规的心跳,以通知节点。状态并同时启动调度程序,将操作分配给该节点。此计划机制结合了调度周期。当群集的大小增加时,系统的可扩展性和调度性能将被遇到。此外,由于资源的反向匹配操作的调度机制,开源调度程序在调度精度方面也有限制。

  Superior Scheduler采用不同的调度机制。SuperiorScheduler的调度程序引入了一个特殊的调度线程,以剥离计划同心跳跃,以避免系统性的心跳风暴问题。此外,卓越的调度程序计划过程使用了从操作到资源到资源的正面调度程序,因此,每个调度操作都有一个全球资源视图,可以极大地提及与开源调度程序相比的计划的准确性,因此,Superior Scheduler在系统吞吐量,利用率和数据可行性方面有了很大改善。

  卓越的调度器性能比较

  除了提高系统吞吐量和利用率外,Superior Scheduler还提供以下主要计划功能:

  多资源池有助于在逻辑上分配集群资源并在多个租户/队列之间共享它们。资源池的划分可以根据异质资源或应用程序资源隔离的需求进行分配。对于资源池,不同的队列可以可以配置进一步的策略。

  Superior Scheduler提供了灵活的层次多阶级调度策略,并允许租户/队列以访问不同资源池以配置不同的策略,如下所示。

  租户资源分配策略的意图显示在图中:

  与相同的开源调度程序相比,Superior Scheduler还为租户级别和绝对值提供了一个混合策略,可以很好地适应各种灵活的企业租户资源计划需求。第一个级别的租户,以便租户的资源不会受到集群变化的影响。可以尽可能增加。

  除了计划CPU和内存资源的计划外,Superior Scheduler还支持以下功能:

  在叶租户中,多个用户可以使用相同的队列提交家庭作业。VIP用户。

  Superior Scheduler使用“从操作到节点调度策略”,也就是说,试图安排可用节点之间给定的分配,以便所选节点适合给定的家庭作业。通过此操作,调度程序将具有群集和数据的整体视图。如果您有机会使任务更接近数据,则可以保证本地化。开源调度程序采用“从节点到操作的调度策略”,以尝试匹配给定节点中的适当操作。

  在异质和多样化的计算环境中,某些容器需要更多的资源或更多资源,例如Spark操作可能需要更大的内存。当这些容器与需要较小的其他容器竞争时,它们可能没有机会获得所需的资源一个合理的时间和饥饿。因为开源调度是基于反向匹配操作的调度方法,资源保留将盲目保留这些操作以防止饥饿。这导致了系统资源的整体浪费。高级调度程序和开源之间的区别是:

  支持多个队列以帮助管理员操作和维护多个租户。

  如果该应用程序尚未启动,则提供了操作原因的原因。

  Superior Scheduler和YARN开源调度程序的比较分析如下:

  本文分享了真诚的Yunyun社区,作者:核桃。