在降低云数据存储成本以保持竞争力的同时保持创新的7种方法。借助公共云，可以轻松地根据需要增加或减少存储容量，但访问看似无限的资源也会导致使用量和成本快速且不可预测地增长。对于分析和机器学习项目尤其如此。数据湖非常适合机器学习和数据流分析，是企业开发新产品和更好地服务客户的有效途径。但是由于数据团队可以轻松地在云中启动新项目，因此必须严格管理基础设施以确保所有资源都经过成本优化并且物有所值。在当前的经济环境下，任何企业都不能容忍浪费。但企业并非无能为力。强大的财务治理实践使数据团队能够控制甚至降低云成本，同时仍然促进创新。采取保护措施来防止团队使用过多资源并确保工作负载与正确的实例类型相匹配以优化成本节约可以大大减少浪费并确保遵守关键服务级别协议(SLA)。以下是CIO可以用来管理云数据湖成本的七种最佳实践。这有助于避免不可预测的账单，并在这个不确定的时期控制支出，但仍能让您的公司创新并变得更强大。?监视、监视、监视。成本管理首先要准确了解正在使用哪些资源、何时使用以及由谁使用，至少每天要这样。通过密切跟踪作业、集群和用户级别的使用情况，可以立即识别浪费或低效率，并进行必要的更改。你无法管理你看不到的东西。?使用异构集群。集群中的节点可能有不同类型的实例，这取决于不同实例的工作负载和成本/可用性。例如，一个集群可能包括按需实例和AWSSpot实例或GooglePreemptibleVM。使用工具（通常以DIY脚本的形式）来自动化使用管理，以便您在使用最有价值的基础架构的同时满足应用程序的弹性和可用性要求。?主动自动缩放。集群在不使用时不需要运行，并且根据需要自动打开和关闭集群可以显着节省成本。在COVID-19大流行期间，我们至少有一位客户在闲置15分钟后关闭了集群，从而显着降低了成本。这显然取决于应用程序的SLA要求，但对于开发工作和概念验证工作来说，等待集群重启应该不是问题。?测试不同的引擎。许多企业使用多个决策引擎，例如Spark、Hive和Presto，因为每个引擎都适用于不同类型的工作负载。在多个引擎上测试查询以查看哪个运行速度最快。这不仅可以提高最终用户的性能，还可以使您的公司受益，因为更短的查询时间通常意味着您使用的资源更少。?使用基于计划的生命周期管理。自动创建和销毁系统以匹配使用模式。例如，如果集群通常在早上或高峰交易时段满负荷运行，请查看正在运行的作业，看看哪些作业可以在其他时间运行。?调整未充分利用的基础设施。在启动新项目和应用程序时，容量要求并不总是很明确。基础设施过度供应，当实际需求变得清晰时，没有人回过头来更改基础设施。将基础设施的规模调整到合适的水平。这需要谨慎的策略，因为容量仍然需要支持预期的使用高峰。?教育用户。如果数据团队了解更广泛的业务需求和替代路径，它将尽力帮助降低成本。概念验证项目真的需要r4.4xlarge实例吗？可能不会。与他们讨论当前的情况以及为什么调整基础架构符合每个人的利益。我们的一位客户甚至使用彩色乐高积木与他的团队进行了演练，展示了如何使用集群中不同类型的实例。帮助你的团队，这样它才能帮助你。云成本管理旨在优化利用率，同时提供财务弹性，使团队能够在自助服务环境中快速行动，同时防止意外成本。任何组织都应始终采用这些最佳实践，但在当今的宏观经济环境中尤其重要。使用这些技巧，您将能够渡过难关，并在时机成熟时保持良好的财务状况。原标题：在持续创新的同时降低云数据成本的7种方法作者：AshishThusoo
