用于优化数据管理和可观察性的操作工具集根据Statista报告，截至2023年，全球将有大约120泽字节的数据，预计到2025年这一数字将达到181泽字节。来源：statista.com作为数据数据量继续快速增长，因此对有效数据管理和可观察性的解决方案和工具的需求也在增长。事实上，数据的实际价值在于它被如何使用。我们收集和存储数据是不够的，必须正确利用和使用数据以获得有价值的见解。这些见解可能与人口统计有关，也可能与消费者行为有关，甚至是对未来销售的预测，为业务决策过程提供真实可靠的资源。此外，通过实时数据，企业可以快速做出明智的决策，以适应市场，抓住稍纵即逝的商机。但是，这些都是建立在良好数据的前提下，如果数据本身杂乱、过时，就会产生误导。因此，我们的重点应该放在提高数据质量上。DataOps的本质作为一套良好的实践和工具，DataOps旨在增强数据管理操作、协作、集成和任务的自动化。DataOps寻求通过集成和面向过程的方法来提高数据管理的质量、速度和协作效率，并利用类似DevOps的自动化和敏捷软件工程实践来加速和简化准确数据的交付过程[1]。它可用于帮助企业和组织更好地管理其数据管道，减少开发和部署新的数据驱动应用程序所需的工作量和时间，并提高数据质量。了解了DataOps的概念，让我们深入研究DataOps的关键组件。通常，其关键组件包括：数据集成、数据治理、数据编排、数据质量管理和DataOps的可观察性。数据集成数据集成涉及集成和测试更改的代码，并及时将它们部署到生产中，确保数据在集成并交付给适当的团队时是准确和一致的。数据治理数据治理涉及确保数据的收集、存储和使用不仅一致，而且合乎道德和合法。数据编排数据编排有助于管理和协调管道中的数据处理，指定和安排任务，并通过处理错误来自动化和优化通过数据管道的数据流。这对于确保数据通过数据管道平稳运行及其性能至关重要。数据质量管理数据质量管理涉及识别、纠正和防止数据中的错误或不一致，确保所使用的数据高度可靠和准确。DataOps可观察性DataOps可观察性是指监控和理解数据管理中涉及的各种流程和系统的能力。其首要目标是确保数据的可靠性、可信度和商业价值。它专注于从监控和分析数据管道，到维护数据质量，并通过财务和运营效率指标全面证明数据的商业价值。DataOps可观察性使企业和组织能够提高其数据管理流程的效率并更好地利用其数据资产。因此，它有助于确保数据准确、可靠和易于访问，进而帮助企业和组织做出数据驱动的决策，优化与数据相关的各种成本和支出，并从中产生更多价值。用于简化数据管理、成本和协作流程的DataOps可观察性工具DataOps最具挑战性的方面之一是集成各种数据源并确保数据质量、治理、编排、成本管理和可观察性。同时，DataOps旨在简化此类流程并改善团队之间的协作，使企业能够做出更好的数据驱动决策，进而实现更高的性能和产出[2]。下面，我们描述了一系列优秀的DataOps工具，企业可以使用这些工具来简化数据管理、成本和协作流程，以及它们在DataOps可观察性方面的能力。数据集成工具市场上有各种DataOps工具，选择合适的工具可能是一项非常艰巨的任务。为了帮助企业做出明智的决策，我们在这里编制了一份可用于管理数据驱动流程的DataOps工具列表。1.FivetranFivetran是一个非常流行和广泛采用的数据集成平台。它简化了将各种数据源连接到集中式数据仓库的过程[3]。这使用户或企业能够在一个地方轻松分析和可视化他们的数据，而无需从多个不同来源手动提取、转换和加载(ETL)数据。Fivetran为各种数据源提供了一组预构建的连接器。其中包括：流行的数据库、云应用程序、SaaS应用程序和平面文件（包含没有相关关系结构的记录的文件）。这些连接器自动接收数据，确保数据始终是最新和准确的。一旦数据进入中央数据仓库，Fivetran将进行模式发现和数据验证，并根据数据源的结构自动在数据仓库中创建表和列，无需手动编写即可轻松构建和维护数据管道自定义代码。同时，Fivetran还提供了重复数据删除、增量数据更新、实时数据复制等功能。这些功能都有助于确保数据完整、最新和准确。来源：fivetran.com2.TalendDataFabricTalendDataFabric解决方案旨在帮助企业和组织确保他们拥有健康的数据，以巩固控制、降低风险并从数据中获取价值。该平台结合了数据集成、完整性和治理，为企业和组织提供可信赖的决策数据。同时，Talend可以帮助企业建立客户忠诚度、提高运营效率以及实现IT基础架构现代化。Talend独特的数据集成方法使企业和组织能够轻松地将来自多个来源的数据汇集在一起??，并为其所有业务决策提供支持。也就是说，它几乎可以集成任何数据类型，从任何数据源到任何数据目的地（即本地或云端）。该平台足够灵活，允许企业和组织构建一次数据管道并在任何地方运行它们，而无需供应商或平台锁定。同时，作为一站式解决方案，它还可以将数据集成、数据质量和数据共享集中在一个易于使用的平台上。TalendDataFabric的数据集成功能主要包括前面提到的数据集成、管道设计器、数据清点、数据准备和变更数据捕获。,和数据拼接。这些工具不仅使数据集成、发现、搜索和共享更易于管理，还允许用户快速准备数据、集成数据、可视化数据、保持数据最新以及安全地传输数据。来源：http://talend.com/3.StreamSetsStreamSets是一个强大的数据集成平台。它使企业能够控制和管理从各种批处理和流媒体源到现代分析平台的数据流。您可以使用其协作可视化管道来设计、映射和监控在边缘、本地或云中部署和扩展的数据流，以实现端到端的可见性[4]。同时，平台还通过数据SLA让用户获得数据的高可用性，保证数据隐私。StreamSets通过其可视化管道设计、测试和部署功能消除了对专业编程技能的需求，从而使企业和组织能够通过直观的图形用户界面快速启动项目。由于StreamSets平台会自动处理意外更改，因此避免了因管道脆弱而导致的数据丢失。此外，该平台还包括一个实时数据地图，其中包含指标、警报和“向下钻取”功能，因此企业可以轻松高效地集成数据。来源：http://streamsets.com/4.K2View作为企业级DataOps工具，K2View为实时数据整合提供数据结构平台，方便企业和组织提供个性化体验[6]。K2View的企业级数据集成工具可以集成任何类型的数据源，并通过如：批量ETL、反向ETL、数据流、数据虚拟化、基于日志的CDC、基于消息的集成，以及SQL等多种方式和API，方便各种消费者轻松访问数据。K2View可以从各种来源和系统中提取数据，通过实时洞察增强数据，将其转化为特定的微数据库，并通过单独压缩和加密微数据库来确保其性能和可靠性。可扩展性和安全性。同时，它还可以实时应用数据屏蔽、转换和编排工具，使授权消费者可以访问任何格式的数据，同时遵守数据隐私和安全规则。资料来源：https://www.k2view.com/5。Alteryx作为一个非常强大的数据集成平台，Alteryx允许用户轻松访问、操作、分析和输出数据。该平台使用拖放式界面（即：低代码/无代码界面），包括80多个用于数据混合、预测分析和数据可视化的工具和连接器[7]。它既可以按需一次性使用，也可以作为“工作流程”重复使用。Alteryx构建工作流的方式也可以用作流程文档的一种形式，供用户查看、协作、支持和增强流程。同时，该平台可以将数据读取和写入文件、数据库和API，以进行预测分析和地理空间分析。目前，Alteryx已作为更快、更高效的自动化数据集成流程应用于各个行业和功能领域。一些常见的用例包括：在电子表格中组合和操作数据、补充SQL开发、各种API、（混合）云访问、数据科学、地理空间分析以及创建报告和仪表板。值得注意的是，Alteryx经常被数据分析师用作ETL工具，通过允许业务用户在不依赖IT的情况下自由访问、操作和分析数据来为业务用户赋能。来源：http://alteryx.com/数据质量测试和监控工具1.MonteCarlo蒙特卡罗是业界领先的企业数据监控和可观察性平台。它为跨数据仓库、数据湖、ETL和商业智能平台的数据问题监控和警报提供端到端解决方案。通常，它使用机器学习(ML)和人工智能(AI)来理解数据并主动识别与数据相关的问题，评估其影响，然后通知相关人员。由于该平台会自动并及时识别问题的根本原因，相关团队可以更快地调试和解决问题。它还提供自动化的、现场级沿袭、数据发现和集中式数据编目。这些使数据分析团队能够更好地了解其数据资产的可访问性、位置、健康状况和所有权。此外，平台在设计上考虑了安全性，可以根据用户提供的技术栈进行相应的扩展，可以通过包含无代码或低代码的功能函数轻松实现，方便现有数据的使用堆栈。来源：http://montecarlodata.com/2.DatabandDataband是IBM最近收购的一个数据监控和可观察性平台。它可以帮助组织在业务受到影响之前检测并解决与数据相关的问题。该平台提供从源数据开始的数据管道的端到端视图，以便企业和组织可以及早发现问题并比较数天和数周的平均检测时间(MTTD)和平均解决时间(MTTR)分钟。Databand的一个关键特性是它能够自动学习现代数据技术，例如Airflow、Spark、Databricks、Redshift和Snowflake堆栈，收集元数据。此元数据可用于构建常见数据管道行为的历史基线，以便组织可以了解从源到目的地的每个数据流。同时，Databand还提供了事件管理、端到端分析、数据可靠性监控、数据质量指标、异常检测以及DataOps告警和路由功能。借此，企业和组织可以提高数据可靠性和质量，并可视化数据事件如何影响数据堆栈的上游和下游组件。也就是说，Databand的组合功能为各种数据事件提供了统一的解决方案，使数据工程师可以专注于构建现代数据堆栈，而不是修补。3.DatafoldDatafold是一个数据可靠性平台，专注于数据质量的主动管理，帮助企业预防数据灾难。它具有在组织的生产力受到影响之前检测、评估和调查数据质量问题的独特能力。也就是说，平台可以通过实时监控，快速发现问题，预防数据灾难。资料来源：http://datafold.com/Datafold利用AI和ML提供具有实时洞察力的分析，以便数据工程师可以从大量数据中做出高质量的预测。综上所述，Datafold的主要功能包括：ETL一键式回归测试跨所有管道和BI报告的数据流可见性SQL查询转换、数据发现和多数据源集成此外，Datafold还提供简单、直观和具有强大导航功能的用户界面(UI)。该平台允许用户深入探索表格和数据资产之间的关系。当然，相比于其灵活的数据质量监控和可视化能力，其所能支持的数据整合相对有限。4.QuerySurgeQuerySurge是一个非常强大和通用的工具，常用于自动化数据质量测试和监控，尤其适用于大数据、数据仓库、BI报表和各种企业级应用。它专为无缝集成而设计，允许用户在数据流动时不断测试和验证数据。QuerySurge提供了创建和运行测试的能力，而无需通过智能查询向导编写SQL语句。这有助于列、行和表级别的比较，以及自动列匹配。同时，用户可以创建自定义测试，使用可重复使用的代码“片段”进行模块化、设置阈值、检查数据类型以及执行许多其他高级检查和验证。此外，QuerySurge还具有强大的调度功能，允许用户在指定的日期和时间立即运行测试。并且，由于支持200多家供应商和技术堆栈，它可以跨越各种平台，针对：大数据湖、数据仓库、传统数据库、NoSQL文档存储、BI报告、平面文件和JSON文件等进行测试。.来源：https://www.querysurge.com/QuerySurge的一个主要优势是它能够在DataOps管道中与数据集成/ETL解决方案、构建/配置解决方案、QA/测试管理解决方案等集成。该工具还包括一个数据分析仪表板，允许用户实时监控测试执行进度、深入了解数据、检查结果并查看已执行测试的统计数据。同时，它还可以“开箱即用”地与大量具有API访问权限的服务和其他解决方案集成。QuerySurge可在本地和云端使用，支持AES256位加密、LDAP/LDAPS、TLS、HTTPS/SSL、自动超时和其他安全功能。简而言之，QuerySurge是一个非常强大和全面的自动化数据监控和测试解决方案，使企业和组织能够快速提高数据质量并减少交付管道中与数据相关的问题和风险。5.RightDataRightData的RDT是一个强大的数据测试和监控平台。它通过为数据测试、核对和验证提供易于使用的界面，帮助企业和组织提高其数据的可靠性和信任度。它允许用户快速识别与数据一致性、质量和完整性相关的问题。同时，它还提供了一套行之有效的场景分析、设计、构建、执行、自动协调和验证方法。由于它几乎不需要任何编程，因此有效地节省了数据工程师的时间和资源。来源：http://getrightdata.com/RDt-productRDT的主要特点：数据库分析能力：它通过提供一套完整的应用程序来分析源数据集和目标数据集。其顶级的QueryBuilder和DataProfiling功能可以帮助用户在不同场景下提前了解和分析数据。支持广泛的数据源：RDT广泛支持以下来源：ODBC或JDBC、平面文件、云技术、SAP、大数据、BI报告和各种其他来源。这使企业和组织能够轻松连接到现有数据源并与之协作。数据校验：RDT有“比较行数”等功能，可以让用户比较源数据集中的行数和目标数据集中的行数，找出行数不匹配的表。也就是说，它提供了一种“行级数据比较”功能，可以比较源和目标之间的数据集，以识别彼此不匹配的行。数据验证：RDT通过提供用户友好的界面创建验证场景，使用户能够为目标数据集建立一个或多个验证规则，然后识别异常，分析并报告结果。管理和CMS：RDT有一个可配置的管理控制台，并提供创建和管理用户、角色以及将角色映射到特定用户的能力。当然，管理员也可以创建、管理和测试查询连接的配置文件。同时，该工具还提供了一个ContentManagementStudio(CMS)，可以将查询、场景和连接配置文件从一个RightData实例导出到另一个实例。此功能对于从一个文件夹复制到另一个文件夹以及为同一实例中的查询切换连接配置文件很有用。DataOps的可观察性和增强的FinOps1.ChaosGeniusChaosGenius是一个强大的DataOps可观察性工具。它使用ML和AI筛选数据并提供精确的成本预测和增强的指标，可用于监控和分析数据和业务的健康状况。构建此工具的主要目的之一是通过提供强大的、一流的DataOps可观察性工具来帮助监控和分析数据、减少开支和改进业务指标，从而为企业创造价值。来源：http://chaosgenius.io/下图展示了ChaosGenius目前提供的一个主要服务，叫做“SnowflakeObservability”。来源：http://chaosgenius.io/ChaosGenius(SnowflakeObservability)主要特性包括：成本优化和监控：ChaosGenius旨在帮助企业和组织优化和监控Snowflake云数据平台的成本，包括：削减成本，并就如何削减成本提出建议。增强的查询性能：ChaosGenius可以分析查询模式以识别低效查询并给出智能建议以提高性能，从而实现更快、更高效的数据检索并提高数据仓库的整体性能。降低开支：ChaosGenius使企业能够更好地提高系统效率，将总开支降低约10%-30%。定价模型：ChaosGenius提供三层定价模型。第一层是完全免费的，而另外两层是为希望监控更多指标的公司设计的。这使得各种规模和预算的企业都可以使用它。2.Unravel作为DataOps可观察性平台，Unravel可以为企业和组织提供全面的数据堆栈视图，帮助他们优化性能、自动化故障排除以及管理和监控整个数据管道的成本。该平台可以与不同的云服务提供商集成，例如：Azure、AmazonEMR、GCP和Cloudera，甚至本地环境进行协作，为企业提供管理其数据管道的灵活性。来源：http://unraveldata.com/Unravel利用ML和AI对端到端数据管道进行建模，使企业能够详细了解数据如何流经其系统。这使企业和组织能够识别瓶颈、优化资源分配并提高数据管道的整体性能。该平台的数据模型可以帮助企业探索、关联和分析整个环境中的数据，深入了解应用程序、服务和资源的使用情况及其有效性，从而使企业能够快速识别潜在问题并采取措施解决。不仅如此，Unravel还具备自动化排查功能，可以帮助企业快速找到问题原因，为企业节省大量资金，让企业的数据管道更加可靠高效。总结随着跨组织的数据量以前所未有的速度持续增长，他们对高效数据管理和可观察性解决方案的需求也在增长。显然，单靠收集和存储数据并不能解决根本问题。企业真正需要的是通过数据获得的洞察力和价值。这通常只有在数据质量高、最新且易于访问的情况下才有可能。这就是DataOps的用武之地。它提供了一套强大的最佳实践和工具来改进协作、集成和自动化，使企业能够简化其数据管道，从而降低成本和工作量。希望您能够有选择地采用上述数据管理和可观察性工具，以最大限度地减少与数据相关的费用并从数据中获得最大价值。参考[1]。A.Dyck、R.Penners和H.Lichter，“走向发布工程和DevOps的定义”，2015年IEEE/ACM第三届发布工程国际研讨会，意大利佛罗伦萨，2015年，第3-3页，doi：10.1109/RELENG.2015.10.[2]多伊尔，克里。“DataOps与MLOps：简化您的数据操作。”TechTarget，2022年2月15日，https://www.techtarget.com/searchitoperations/tip/DataOps-vs-MLOps-Streamline-your-data-operations。2023年1月12日访问。[3]丹妮丝、艾米和布鲁斯·罗杰斯。“Fivetran创新数据集成工具市场。”福布斯，2022年1月11日，https://www.forbes.com/sites/brucerogers/2022/01/11/fivetran-innovates-data-integration-tools-market/。2023年1月13日访问。[4]巴苏，基里特。“什么是StreamSet？DataOps的数据工程。StreamSets，2015年10月5日，https://streamsets.com/blog/what-is-streamsets/。2023年1月13日访问。[5]钱德，斯瓦蒂。“什么是Talend|TalendETL工具简介。”Edureka，2021年11月29日,https://www.edureka.co/blog/what-is-talend-tool/#WhatIsTalend。2023年1月12日访问。[6]“提供实时数据产品以加速数字业务[白皮书]。”K2View，https://www.k2view.com/hubfs/K2View%20Overview%202022.pdf。2023年1月13日访问。[7]“Alteryx的完整介绍。”GeeksforGeeks，2022年6月3日，https://www.geeksforgeeks。org/complete-introduction-to-alteryx/.2023年1月13日访问。JulianChen，社区编辑，在IT项目实施方面拥有超过十年的经验。擅长管控内外部资源和风险，专注传播网络和信息安全知识和经验原标题：22BestDataOpsToolsToOptimizeYourDataManagementandObservabilityIn2023，作者：PramitMarattha
