原文地址:玩转集群配置中心,本文带你了解泰尔控制台丨DTMO03直播回顾(含视频+课件))课程视频回顾:泰尔基础教程(二):泰尔详解1.1新功能&控制台介绍在上一期的调度系统中,头田老师为我们介绍了泰尔的介绍。本期越白君就为大家介绍一下泰尔主机。控制台是泰尔的集群配置中心。通过控制台,泰尔可以实现不同集群环境的连接,在每个集群下配置不同类型的组件,然后开发相应的任务。通过控制台,泰尔实现了多集群、多租户的特性。一、Taier控制台功能介绍进入Taier后,首先需要到控制台进行集群配置。配置集群后,需要将租户绑定到集群上进行任务开发。控制台的功能主要包括以下三个模块:多集群管理控制台支持配置多个集群环境,配置集群下不同的计算组件也可以通过不同的计算组件实现不同类型任务的提交.该功能充当配置中心。只有在控制台集群中配置了相应的集群信息,任务才能知道提交到哪个集群环境。资源管理资源管理展示的作用是展示集群计算节点的内存和核心使用情况,以及租户和集群的绑定关系,帮助用户更好的判断资源配置使用情况。该功能有效帮助太二实现租户隔离。太二在设计之初,最先明确的一个概念就是多租户、多集群隔离。在泰尔,这是通过租户和集群的相互绑定来实现的。的。队列管理队列管理负责协调集群中不同节点下任务的状态,用户可以对其进行手动操作。它的主要功能是提交参数,任务提交的参数信息是从控制台的相应组件中获取并构建的。2.台尔控制台设计在讲解完控制台的功能后,分享一下控制台的设计思路。泰尔控制台的设计主要围绕以下几点进行介绍:组件化1.组件结构逻辑因环境不同而信息不一致,日常任务信息处理需要通过配置多个集群(Cluster)来区分信息来源。每个集群下的组件按功能可分为四个功能组件:公共组件、资源调度组件、存储组件和计算组件。相同的功能部件可以根据不同的类型进一步分类。架构设计就是这样从整体到部分逐层实现的。四个功能组件的主要功能是:CommonPart:通用组件一般实现逻辑ResourceScheduling组件(ResourcePart):资源调度组件一般实现逻辑StoragePart(StorePart):存储组件一般实现逻辑计算组件(ComputePart):计算组件的通用实现逻辑,包括:DependComputePart:依赖于资源组件和存储组件的计算组件的通用实现逻辑,如:Flink、Spark等计算组件SingleComputePart:不依赖其他任何组件的计算组件,如如:OceanBase、TiDB等组件2、组件实现逻辑组件的实现逻辑包括以下几个方面:组件对应的唯一类型枚举值、组件的具体版本、组件对应的模板参数插件名称,资源组件依赖的ce,组件附加的版本参数,插件一个组件如何对应一个插件版本?以ApacheHadoop2组件插件为例。具体命令操作可在课程回放中查看。插件文件可以在以下文件夹中找到:3.泰尔控制台规划简化由泰尔设计核心理念一直是“轻巧易用”。为了实现这个目标,我们未来会采取一系列措施,比如优化计算组件和任务的关系,让自定义开发任务变得更简单;我们还提供基于OceanBase开发自定义组件、任务和插件的教程。最大限度地减少用户的学习和操作负担。我们也会通过优化让组件配置的参数更简单。目前控制台计算组件参数大部分为泰尔自定义参数,后续我们会在控制台计算组件的参数中添加参数说明。优化方向是让用户在配置计算组件时实时了解配置过程。易于扩展我们还计划降低开发自定义任务类型的难度。新增Hadoop以外的计算组件,如OceanBase、TiDB扩展分布式数据库任务类型等。具体这五个方面的具体安排:1.实现自定义组件类型定义2.实现自定义组件模板参数定义3.开发自定义插件,开发自定义任务5.自定义任务运维中心信息展示extensionk8ssupport目前控制台的资源调度组件默认只支持Yarn,无法快速使用ChunjunOnKubernetes。未来我们的资源调度组件会扩展对k8s的插件支持,降低任务运行环境的上手难度。以上就是泰尔控台的基本介绍和未来的一些规划方向。欢迎大家一起交流讨论。DataStack希望与您共同成长。
