改变数据捕获：Airbnb、Netflix和UberTranslator的关键链接|布加迪评论|孙淑娟现代数据堆栈（MDS）是数字颠覆者的基础。以Netflix为例。该公司开创了一种基于视频即服务的新商业模式，但其成功很大程度上取决于实时流数据。Netflix正在使用分析向观众推送高度相关的推荐。它监控实时数据，保持对网络性能的持续可见性。它正在同步其电影和节目数据库，而Elasticsearch使用户能够快速轻松地找到他们正在寻找的内容。这必须是实时的，必须100%准确。老式的提取、转换和加载(ETL)太慢了。为了满足这种需求，Netflix构建了一个名为DBLog的变更数据捕获（CDC）工具，它可以捕获MySQL、PostgreSQL等数据源的变化，然后将这些变化流式传输到目标数据存储系统，用于搜索和分析。Netflix需要高可用性和实时同步，同时对操作数据库的影响最小。CDC将数据库日志作为输入，并按更改发生的顺序将更改复制到目标数据库，因此它可以在更改发生时捕获更改，而无需锁定记录或以其他方式阻塞源数据库。数据是Netflix业务的核心，但在这方面并不孤单。优步、亚马逊、Airbnb和Meta等公司的蓬勃发展是因为他们真正了解如何让数据为他们工作。数据管理和数据分析是这些组织的战略支柱，而CDC技术在使他们能够执行核心任务方面发挥着关键作用。几乎每一家在当今商业环境中处于领先地位的公司都是如此。如果您希望您的公司成为领先者，您需要重塑和利用数据。竞争对手肯定已经在这样做了。1.亚秒级集成是Airbnb和Uber如今的新标准，出色的客户体验(CX)需要实时数据流。Airbnb认识到CDC技术在为其客户和房东打造卓越客户体验方面的价值。它还建立了自己的CDC平台，称为SpinalTap。Airbnb的动态定价、房源可用性和预订状态要求所有系统都具有完美的准确性和一致性。当Airbnb客户预订房屋时，他们希望工作流程极其快速且100%准确。对于优步来说，即时性可以说更为重要。无论顾客是等车去机场还是叫外卖，时间都是至关重要的。与Netflix和Airbnb一样，优步开发了自己的CDC平台，以实时同步跨多个数据存储系统的数据。还出现了一组通用要求。Uber需要其解决方案速度极快、容错且数据丢失为零。它还需要一种不会降低数据源数据库性能的解决方案。2.更改普通公司的数据捕获CDC再次符合要求。过去，隔夜批处理模式ETL可能足以提供每日执行更新或操作报告。今天，实时越来越成为常态。如果信息就是力量，那么即时访问它就是超级力量。这就是CDC迅速成为现代数据堆栈的基本要求的原因。但是，Netflix、Airbnb、Uber等大公司都有资源搭建定制的CDC平台，那么其他普通公司呢？现成的CDC解决方案正在填补这一空白，提供相同的低延迟、高质量的流媒体管道，而无需从头开始构建。不幸的是，他们并非天生相同。大多数公司都运行一系列系统来处理企业资源规划(ERP)、客户关系管理(CRM)或采购或人力资源等专业运营功能。这些系统运行在不同的数据库平台上，并使用不一致的数据模型。如果一家公司运行大型机系统，它可能会处理不能很好地与现代关系数据配合使用的怪异数据结构。这使得异构集成变得更加重要。这需要连接到多个数据源和目标，包括SAP、Oracle、IBMDB2和Salesforce等事务性数据库。这意味着将实时流数据传送到Databricks、Kafka、Snowflake、AmazonDocumentDB和AzureSynapseAnalytics等平台。3.实时CDC自动化为了推动人工智能(AI)和高级分析，公司需要将数据推送到通用MDS平台。这意味着从各种数据源获取信息，将其转换为适合分析的统一模型，并将其传送到基于云的现代数据平台。变更数据捕获技术是数据驱动价值链中的关键环节——首先从数据源系统中自动提取数据，然后动态转换并交付到云数据平台。实时CDC自动化确保正确的信息立即到达正确的位置。通过仅关注已更改的数据，流式CDC管道与过去的批处理模式操作相比具有巨大的效率优势。最好的CDC解决方案可以在不到30分钟的时间内将100+TB的数据从源传输到目标，同时实现零数据丢失。向云计算的转变仍在进行中。尤其是云分析工具，可以为真正了解数据转变业务潜力的公司提供明显的优势。各行业的领先公司正在围绕数据分析工具调整其战略愿景。他们将与客户的互动数字化，使用算法研究数据、提取见解并据此采取行动。人工智能和机器学习正在吸收大量信息，发现相关性并识别异常。无论您是在引领数字化颠覆，还是只是跟上潮流，CDC技术都将在使现代数据堆栈成为现实、打开数字化转型之门方面发挥关键作用。原文链接：https://venturebeat.com/data-infrastructure/change-data-capture-the-critical-link-for-airbnb-netflix-and-uber/
