当前位置: 首页 > 科技观察

论仪表板在云数据仓库架构中的重要性

时间:2023-03-21 15:20:26 科技观察

译者|布加迪评论家|孙淑娟随着企业转向数字优先模式,越来越多的组织越来越倾向于云计算架构。但是向云过渡会带来许多集成和管理痛点和挑战。云本身是一个庞大的生态系统,包括基础设施、应用程序、微服务、容器、集群、虚拟机以及分布在多个区域和数千个用户的多个云。此外,在云中运行的每个应用程序也有自己的数据平面,通过它可以管理其各自的功能。管理如此复杂的基础设施和不同的数据平面需要单一管理平台来处理数据平面的繁重工作。这时候控制面就派上用场了。控制平面是一个集中管理的接口,负责在分配、配置、调度、维护和操作工作负载方面做出决策。它是一组服务,用于维护对象的所需状态、计划任务并启用用户管理、集群管理和编排。以数据分析为例,如果数据在数据平面进行转换,控制平面可以为所需的管道创建实例,启动额外的计算资源,并在任务完成后回收所有资源。分析上下文中控制平面的关键功能拥有单独的控制平面背后的整个想法是客户不必担心云堆栈,他们只需使用处理工作负载所需的资源。从分析的角度来看,这里有四个控制平面必须具备的关键功能。1.与数据平面直接集成控制平面必须与跨越数百个集群和多个云提供商的各种数据平面紧密集成。它应该提供关于平台状态的可观察性和实时操作的适当时间,跟踪围绕这些观察和指标的历史趋势。它必须能够在其界面内推送配置更改并执行升级、备份和安装等管理任务。用户应该能够选择他们选择的数据平面底层:云提供商、区域和虚拟私有云(VPC),并能够无缝地编排、部署或终止所选的数据库和集群。2.支持数据民主化和安全性由于不断变化的安全性、合规性和隐私要求,组织不仅需要规范数据的存储方式,还需要规范数据的访问方式和在整个组织中用于分析的方式。一些企业甚至需要在他们的云账户中存储和分析数据。因此,控制平面必须能够管理和支持不同的授权和认证方案。从隐私和安全的角度来看,谁有权访问哪些数据也是一个关键方面。从简单的权限到复杂的基于角色的访问控制再到IDP(身份提供者)集成,控制平面必须确保它们根据用户角色和访问策略一致地应用。3.计费透明度和订阅灵活性以传统的SaaS(软件即服务)为例,计费是根据席位或用户数来计费的。基于产品或资源消耗,分析型SaaS必须支持更大的灵活性。控制平面的核心功能是跟踪这种消耗,并在适合各种分析工作负载的粒度级别进行跟踪。例如,计费部门完全依赖数据平面中的vCPU使用率,允许组织调整工作负载以最大限度地利用对现有云提供商的投资。控制平面还必须允许管理员对云支出设置明确的限制,以免月末账单出现意外。4.监控和洞察资源使用监控各种云组件可能是复杂且具有挑战性的,因此控制平面的一个关键功能是为用户简化这个过程并为他们提供一系列直观的报告,这些报告可在Provides有关资源使用情况的实时信息一目了然。这包括提供关于节点、子集群和策略状态、性能、vCPU使用率、总正常运行时间、集群启动和停止时间的直观信息,以及对用户活动的洞察(例如主要用户和查询的数量);用于监控和故障排除的详细事件日志。理想情况下,控制平面必须是整个基础设施及其数据平面的单一真实来源。未来的数据将极其庞大、分散且复杂,很明显,组织将需要一个集中的机制来提高数据的可管理性、可重用性、可见性和编排能力。考虑到这一点,不难想象为什么需要一个复杂的控制平面来确保组织获得数据平面的全部价值。原标题:控制平面在云数据仓库架构中的重要性,作者:RohitAmarnath