【.com快译】云工具的增多和处理大量原始数据的需求，带动了市场对数据工程师的需求激增。数据工程师构建数据管道，也是数据基础设施设计和算法开发的主力军。数据工程师对于提高公司数据的实用性至关重要。为了构建如此丰富的数据基础设施，数据工程师需要结合不同的编程语言、数据管理工具、数据仓库以及大量其他工具来进行数据处理、数据分析和人工智能/机器学习。本文介绍了数据工程师用来构建高效数据基础架构的十大工具。1.PythonPython是一种流行的通用编程语言，简单易学，已成为数据工程界事实上的标准。由于Python支持多种使用场景，尤其是在构建数据管道方面，堪称编程语言界的瑞士军刀。数据工程师使用Python编写ETL框架、API交互、自动化和数据处理任务（例如调整、聚合和连接不同的数据源）。简单的语法和丰富的第三方库是Python的其他优势。最重要的是，这种编程语言有助于缩短开发时间，从而减少公司的开支。如今，Python是超过三分之二的数据工程师职位空缺的必备编程语言。2.SQL查询是所有数据工程师的基础。SQL（结构化查询语言）是数据工程师用来创建业务逻辑模型、执行复杂查询、提取关键性能指标和构建可重用数据结构的关键工具之一。SQL是帮助使用查询和数据转换技术访问、更新、插入、操作和修改数据的最重要工具之一。3.PostgreSQLPostgreSQL是世界上最流行的开源关系型数据库。PostgreSQL流行的众多原因之一是其活跃的开源社区——它也不是像DBMS或MySQL这样的企业主导的开源工具。PostgreSQL轻量级、高度灵活且功能强大，使用对象关系模型构建。它提供了广泛的内置和用户定义的功能、大数据容量和可靠的数据完整性。PostgreSQL旨在处理大型数据集，同时提供高容错性，使其成为数据工程工作流的理想选择。4.MongoDBMongoDB是一种流行的NoSQL数据库。它易于使用，高度灵活，可以大规模存储和查询结构化和非结构化数据。MongoDB等NoSQL数据库因其处理非结构化数据的能力而广受欢迎。与采用严格模式的关系数据库(SQL)不同，NoSQL数据库更加灵活，并且以易于理解的简单形式存储数据。分布式键值存储、面向文档的NoSQL能力和MapReduce计算能力使MongoDB成为处理海量数据的绝佳选择。数据工程师经常要处理大量未经处理的原始数据，这使得MongoDB成为保留数据功能和支持水平扩展的典型选择。5.ApacheSparkEnterprises今天了解捕获数据并使其在组织内快速可用的重要性。流处理让您可以实时查询连续的数据流，包括传感器数据、网站上的用户活动、来自物联网设备的数据和金融交易数据等数据。ApacheSpark代表了一种流行的流处理实现。ApacheSpark是一个以大规模数据处理能力着称的开源分析引擎，支持多种编程语言，包括Java、Scala、R和Python。Spark可以使用内存缓存和优化的查询执行，以微批处理数TB的数据流。6.ApacheKafka与ApacheSpark类似，ApacheKafka是一个开源的事件流平台，可用于数据同步、消息传递、实时数据流等应用环境。ApacheKafka在构建ELT管道方面很受欢迎，并被广泛用作数据收集和提取工具。ApacheKafka是一种简单、可靠、可扩展、高性能的工具，用于将大量数据快速流式传输到目标。7.AmazonRedshift在现代数据基础设施中，数据仓库不仅仅局限于数据存储的角色。一个很好的例子是AmazonRedshift，这是一个完全托管的基于云的数据仓库，用于大规模存储和分析数据。Redshift使使用标准SQL跨数据仓库、运营数据库和数据湖查询和合并大量结构化和半结构化数据变得容易。它还使数据工程师能够在数小时内轻松集成新数据源，从而缩短获得洞察力的时间。8.SnowflakeSnowflake是一个流行的基于云的数据仓库平台，为企业提供独立的存储和计算选项，支持第三方工具和数据克隆。Snowflake通过轻松提取、转换和交付数据以获得更深入的见解，帮助简化数据工程活动。借助Snowflake，数据工程师不必担心管理基础架构和并发处理等问题，而可以专注于其他有价值的数据交付活动。9.AmazonAthenaAmazonAthena是一种交互式查询工具，可帮助您分析存储在AmazonS3中的非结构化、半结构化和结构化数据。您可以使用Athena使用标准SQL对结构化和非结构化数据执行临时查询。Athena是完全无服务器的，这意味着无需管理或设置基础设施。使用Athena，您不需要复杂的ETL作业来准备要分析的数据。这使得数据工程师或任何具有SQL技能的人都可以轻松地即时分析大型数据集。10.ApacheAirflow随着现代数据工作流中多种云工具的出现，管理不同团队之间的数据和发挥数据的全部潜力变得越来越困难。作业编排和调度工具致力于消除数据孤岛、简化工作流程并自动执行重复性任务，以便IT能够快速高效地采取行动。ApacheAirflow长期以来一直是数据工程师编排和安排数据管道的首选工具。ApacheAirflow通过高效的任务调度帮助您构建现代数据管道。它提供了丰富的用户界面，可以轻松显示生产中运行的管道、监控进度并在需要时解决问题。原标题：数据工程师的十大工具，作者：SaviaLobo
