概述ETL（Extract-Transform-Load的缩写，即数据抽取、转换、加载的过程），对于企业或行业应用，我们经常会遇到各种各样的各种数据的处理、转换和迁移，所以了解和掌握一个etl工具的使用是必不可少的。最近用kettle做数据处理比较多，所以就这方面介绍一下。在这里我们将比较几种主流的ETL工具。1.DataPipelineDataPipeline是一家为企业用户提供数据基础设施服务的科技公司。DataPipeline数据质量平台集数据质量分析、质量验证、质量监控等功能于一体，确保数据质量的完整性、一致性、完整性。准确性和唯一性彻底解决了数据孤岛和数据定义演化的问题。2、KettleKettle是一款国外开源的ETL工具，纯java编写，可以运行在Windows、Linux、Unix上，数据提取高效稳定。水壶的中文名称是Kettle。该项目的主程序员MATT希望将各种数据放入一个水壶中，然后以指定的格式输出。Kettle家族目前包括4种产品：Spoon、Pan、CHEF、Kitchen。SPOON允许您通过图形界面设计ETL转换过程（Transformation）。PAN允许您批量运行Spoon设计的ETL转换（例如使用时间调度程序）。Pan是一个在后台执行的程序，没有图形界面。CHEF允许您创建任务（Job）。通过允许每个转换、任务、脚本等，任务更有利于自动化更新数据仓库的复杂工作。任务传递允许每个转换、任务、脚本等。将检查任务以查看它是否正确运行。KITCHEN允许您对Chef设计的任务进行批处理（例如使用时间调度程序）。KITCHEN也是一个在后台运行的程序。3、TalendTalend，一家专业的开源集成软件公司，为企业提供开源中间件解决方案，让企业在应用、系统和数据库中获得更大的价值。在传统软件公司提供封闭和专有解决方案的领域，Talend系列软件以开源的形式开发。可在Hadoop集群间运行的Talend，直接生成MapReduce代码供Hadoop运行，从而降低部署难度和成本，加快分析速度。此外，Talend还支持Hadoop2.0，可以进行并发事务处理。4.InformaticaInformatica是全球领先的数据管理软件供应商。以下Gartner魔力象限的领导者：数据集成工具魔力象限、数据质量工具魔力象限、元数据管理解决方案魔力象限、主数据管理解决方案魔力象限和企业集成平台即服务(EiPaaS)魔力象限.InformaticaEnterpriseDataIntegration包括两个产品，InformaticaPowerCenter和InformaticaPowerExchange。凭借其高性能和完全可扩展的平台，它可以解决几乎所有的数据集成项目和企业集成解决方案。·InformaticaPowerCenter用于访问和集成几乎任何业务系统和任何格式的数据。它可以以任意速度在企业内部传递数据，具有高性能、高扩展性和高可用性的特点。InformaticaPowerCenter包括4个不同的版本，分别是：标准版、实时版、高级版和云计算版。同时，它还提供了一些可选组件来扩展InformaticaPowerCenter的核心数据集成能力，这些组件包括：数据清洗和匹配、数据屏蔽、数据验证、Teradata双重加载、企业网格、元数据交换、Pushdown优化（PushdownOptimization）、团队开发和非结构化数据等。·InformaticaPowerExchange是一系列数据访问产品，使IT组织能够在需要的时间和地点访问和交付整个企业的关键数据。借助此功能，IT组织可以优化有限资源和数据的业务价值。InformaticaPowerExchange支持许多不同的数据源和各种应用程序，包括企业应用程序、数据库和数据仓库、大型机、中端系统、消息传递系统和技术标准。5、DataxDataX是阿里巴巴集团广泛使用的离线数据同步工具/平台。异构数据源之间的高效数据同步。开源地址：https://github.com/alibaba/DataX6，OracleGoldengateGoldenGate软件是一款基于日志的结构化数据复制软件。GoldenGate可以实现海量交易数据的实时捕获、转换和传递，实现源数据库和目标数据库之间的数据同步，保持亚秒级的数据延迟。源端通过extraction进程提取redolog或archivelog日志内容，通过pump进程（TCP/IP协议）发送给目标端。最后，目标端的rep进程接收日志，解析并应用到目标端，从而完成数据同步。7、ETL工具的比较整理成表格如下：
