快速实现现代数据架构的五个技巧不连续分析等创新技术彻底颠覆了传统的商业模式。与此同时，Covid-19的全球大流行也加速了企业数字化的快速转型，对新服务产品的需求也应运而生。因此，为了保持竞争力和敏捷性，服务提供商必须在现有基础设施上快速部署新的数据技术，以推动市场驱动因素，包括：个性化报价、实时警报和预测性维护类型创新。然而，在从流处理到数据湖的分析实施过程中，许多企业发现其现有数据架构存在各种历史遗留问题，无法有效管理或妥善利用海量数据。因此，为了能够快速部署新功能并简化现有架构方法，企业需要在不影响核心技术堆栈的情况下改造或重塑现有基础架构。下面，就实施此类改造需要注意的五个方面进行详细探讨。1.转向基于云服务的平台在改造各种完全不同的数据架构方面，云服务是基础和彻底的。它为企业提供了一系列快速、可扩展的工具，以及竞争优势的赋能。云服务使企业能够及时、大规模地获取、部署和运营新的数据架构平台和应用程序。关键技术：无服务器数据平台——这些平台使组织能够构建和运行以数据为中心的应用程序，通过消除现场配置和管理的工作量和麻烦来降低成本，同时实现无限的可扩展性支出。这些技术的易用性主要体现在它们可以在几分钟内部署，而不是过去的几周。这可以显着降低整体业务的运营开销。容器化数据解决方案——Kubernetes技术不仅使企业能够解耦现有业务，还可以自动化其他数据存储系统的部署和计算能力。因此，那些设置复杂的平台仍然可以按需扩展以满足业务需求。2.从批处理到实时处理的转变实时数据流功能为当前的各种业务应用程序提供动力。例如：来自工厂车间的传感器可以通过捕获的实时数据帮助制造商预测各种维护问题；保险公司可以根据来自智能设备的实时行为数据设置个性化费率；消费者可以使用Accuratelytrackfoodorderdeliveryfromrestauranttodoorstep在几秒钟内。由于云服务降低了数据和计算能力的成本，也大大降低了实时数据消息的传输和传递成本，这种技术更适用于各种规模的企业。同时，实时流媒体功能还使数据消费者能够订阅不同的“主题”，以便持续接收与实际需求相关的信息。通过将信息存储到数据湖中，我们还能够保留所有粒度的细节，可用于深度分析和趋势预测。关键技术：消息传递平台——提供可扩展、容错发布和订阅服务的现代消息传递平台。与传统的、基于批处理的消息队列相比，此类消息传递平台每秒可以处理和存储数百万条消息。在降低成本的同时，也减少了存储占用的空间。流式分析场景——这些系统不仅直接实时分析消息，还将历史数据与当前消息进行比较，通过趋势分析生成预测和建议。3.从商用现货（COTS）升级到定制化解决方案过去在软件选择匮乏的情况下，企业可以通过提供COTS来迫使用户被动接受产品。在个性化需求增长的今天，开发者不得不转向定制化、高度模块化的数据架构。他们可以从类似的开源组件中选择最流行的，并可以根据实际需要进行升级改造，而不破坏现有的商业模式。关键技术：基于API的接口——当以DevOps方式实施数据管道时，API接口将分散和独立的团队从无关紧要的复杂问题中解放出来，从而减少人为错误的可能性并加快上市时间。同时，他们可以根据需要轻松更换各种组件。分析工作台——这些服务平台支持模块化组件（例如数据库和服务）之间的端到端通信。4.数据访问解耦通常情况下，API可以帮助我们解耦数据访问的耦合问题，并且可以通过封装来保证直接访问和查看数据的限制和安全。通过API，我们不仅可以实现对常用数据集的快速访问，还可以方便团队之间数据的复用，以及高效无缝协作。关键技术：API网关–您可以创建和发布以数据为中心的API以实施访问控制、执行使用策略和衡量服务性能。数据缓冲——许多组织使用数据平台来缓冲核心系统之外的事务。该平台可以实现为每个团队预期工作负载的数据湖，也可以实现为基于数据存储架构的存储库。5.转向基于领域的数据架构许多组织不会将所有企业数据存储在一个位置，而是转向基于领域的架构，将数据集的所有权转移给使用它们的业务职能团队。此举的好处在于，不仅可以将那些业务领域的数据以面向消费的方式推送给用户，还可以有效应对不断变化的流动性需求，遵守不断更新的法律法规。关键技术：数据基础架构即平台——提供存储和管理通用工具功能的服务平台。数据生产者无需搭建自己的平台即可快速实现数据需求。数据分类工具——这些工具允许在不需要完全访问权限的情况下搜索和浏览数据。该工具的数据目录通常还提供元数据定义、简化的界面以及从任何地方访问数据资产的功能。如何实现数据架构现代化数据和技术领导者需要能够快速评估和部署新技术，以跟上现代数据创新的步伐。目前业界有以下三种技术准备和实践，可以帮助企业构建数据转发组织（data-forwardorganization）结构：对于组织来说，“test-and-learn”是DevOps的敏捷理念。实用方法。通过试验不同的组件和概念，我们能够快速确定对组织有效的方法。DataOps是DevOps对数据的增强。它有助于加速新组件的设计、开发和部署，使团队能够根据需要快速实施更改和更新场景和文档。确保高级管理层认同并致力于营造积极数据的文化。因此，技术人员可以提高生产力并简化准备过程，同时确保数据策略与组织的业务目标保持一致。由于数据、分析和人工智能等元素嵌入到企业的日常运营中，我们需要一个灵活的数据架构来确保组织在瞬息万变的市场中保持敏捷、稳健和竞争力。【原标题】实施现代数据架构的5个步骤（作者：RachelRoundy）
