谈谈数据源市场建设的初步思路和方案数据源市场可以实现一个数据流向的基线标准。目前发现的问题：1、数据导出通道复杂，管理混乱。2、MySQL中转服务单点难以扩展。3、任务状态不明确，缺乏统一管理。4、数据传递质量难以保证，反馈不及时。5.近实时数据同步难以满足需求。拟改进方案如下：1.数据输出通道统一交付2.数据源集市服务群建设，横向扩展压力3.平台化任务配置，任务日志指标可视化4.数据交付提供交付标准和数据质量日志5.提供近乎实时的解决方案作为预测问题的替代方案。整个数据源集市在数据传输系统中的作用和位置如下：下面是数据源集市的一些组件和服务，可以尽量列举出来。在此级别上可以实现数据质量标准和测量。总之，如果数据不合理，我应该及时警告，不能把错误的提供给中下游。数据源市场需要做好这个层面的保障。在数据流转方向，我把数据表分为状态表、流量表和配置表，它们在流通体系中的定位和标准也有很大的不同。当然，这只是数据流通体系中的冰山一角，想要将数据认知和数据源整合起来，形成统一的认知，工作量是极其巨大的。我觉得对数据的认知，这个话题一提起，好像打开了一扇窗。经过更大的讨论，我觉得我本来想要的是一口井，但现在我需要引流一条河，而且河上还要再建一座桥，这很头疼。本文转载自微信公众号《杨建荣的学习笔记》，可通过以下二维码关注。转载本文请联系杨建荣学习笔记公众号。
