基于模板配置的数据可视化平台

时间：2023-03-06 15:54:45 网络应用技术

　　简介：在大数据智能时代，数据分析值越来越重要，数据分析可视化平台的容量要求越来越高。从百度数据中心的数据可视平台，本文介绍了应用程序配置数据可视平台的价值，并分解数据可视化平台的整体处理结构。在可配置的数据可视平台上，它可以有效地支持复杂的数据分析方案，提高分析效率并增强数据的价值。

　　全文是6999个单词，预计阅读时间为13分钟。

　　在数据智能时代，BI（商业智能，商业智能）已经是现代数据操作的基本能力。为了用数据支持业务，一方面，我们需要全面，权威和稳定的基本数据基于数据仓库建筑业务的建筑业务。另一方面，我们还需要建立数据分析通过图表显示数据的能力，以改善信息显示信息。密度，然后补充各种比较，让数据业务，升华数据显着性并增强业务增长能力。

　　因此，建立数据视觉平台特别重要，但是由于复杂业务之间的差异，平台的设计和开发过程很困难且复杂。考虑人群和业务的分析方法，数据可视化平台面临在呈现，数据计算和数据释放效率方面面临重大挑战。

　　客户根据发布的目的选择不同的广告和商业产品表格（例如Weibo Hot搜索列表，Baidu的搜索顶部，各种视频网站的建议等），哪些表格可以促进Ecustomers可以促进广告，可以选择不同的广告和商业产品表格。更好地吸引用户；客户提供的样式（例如视频，图片，内容和其他材料特征），使浏览内容的用户需要遇到诸如Content.com偏离分析师，看板用户和许多分析的问题。构建数据可视平台以生成数据报告的方案，将发生以下问题：

　　1.独立发展长期报告会导致重复的构造和重复发展某些能力；

　　2.独立开发每个语句会导致用户适应由多种样式和样式引起的经验差异；

　　3.当业务变化时，调整和匹配成本会导致企业在一段时间内有效地增强业务的能力；

　　4.平台计算能力不足引起的施工数据报告的时间和人工成本；

　　5.平台的稳定性保证很困难，并且在测试和调查中存在无数异常。

　　为了满足用户的需求，即使投资了大量的人力，它也只能解决上述开发成本带来的问题。BI和数据之间的系统构建需要渗透到数据表达的各个方面，结合业务的特征，模块化和组成功能，不仅可以降低重复开发的成本，还可以改善代码的代码重复。使用，可伸缩性，报告管理和容忍度的能力用户的经验和业务适应性。

　　因此，出色的数据视觉平台应符合以下几点：

　　1.敏捷：可以迅速响应需求；

　　2.准确性：它可以确保平台数据的准确性，并实现“获得的内容，并使用收入”；

　　3.多重：面对不同的业务属性，用户特征，例如比较计算，查询等，可以通过模块组合，显示类型调整和其他方法来满足需求；

　　4.灵活：对于业务开发或变革，可以灵活地更改平台以接近业务结构；

　　5.简单易用：用户可以快速满足他们的阅读和编写数据；支持业务流程，用“配置”替换“开发”；

　　6.易于扩展：涵盖大多数业务分析方案，并支持基于配置的二级开发正面和背部 - 末端代码，这很容易扩展。

　　1.导数指标：

　　基于基本指标，在次级公式中计算出的指标的使用通常用于过去10天内计算的平均用户数量，或在当天使用用户数量的用户数量昨天用户数量。

　　2.钻探：

　　通常，需要通过分割或精炼来挖掘业务或找到业务的痛点。业务之间存在一定的相关性。相关性的分解在分析过程中称为下钻。在视觉场景中经常使用类似的分层关系。

　　3.上卷：

　　在视觉场景中，当多个业务数据构成业务数据总数时，系统之间相关性的总计算用于使用业务之间的相关性。

　　4.膜分析：

　　常见的基线比较方法基于一个或多个业务，通过数值对比分析当前的业务状况。

　　5.时间比较分析：

　　处理时间处理后，比较当前时间段和历史（或基线）期间之间的价值变化以确定业务状态。

　　2.1.1场景分析

　　完整的数据分析从分析需求开始，包括数据收集，数据清洁，数据建模，数据显示，数据应用程序和结论输出，使用输出结论来着陆或增强业务。我们可以在整个过程中看到两个字符关联：

　　1.建筑商：

　　在分析命题或业务方案时，首先根据业务寻找数据支持。在此过程中，您需要收集数据，将数据组织成业务意义的方式，并提取与业务相关性的分析意义的内容。数据的各个部分以更直观和图像显示。业务，一些数据需要合并为衍生指标或尺寸建立之间的连接的组合。完成这些任务后，将在数字和图像中显示完整的业务场景。

　　2.分析师：

　　为了响应业务状况，通过数据剥离的问题，以应用程序的商业场景的收入为例。分析师需要从应用程序的用户数量开始，以查看由乐趣功能引起的链接。下钻石分析和定位业务的根本原因也可用于使用模拟分析和基线比较。在场景中，相同情况的差异相对相似。

　　面对相同的业务问题，朝不同方向的数据用户也可能具有不同的行为。业务理解的趋势和分析的数据水平也将有所不同。当然，用户还可以同时担任这两个角色。本质上，简单而简单的使用平台更方便地分析用户独立完成数据构建的封闭循环以进行分析分析，从而更快地减少和释放人力，并更快地解决业务问题。当前的数据无法满足业务分析时，分析师将进入施工方案，并继续找到定量支持所需的数据参数。

　　2.1.2业务抽象和思考

　　完成各种业务方案的数据支持，并要求技术为技术创造条件。如果构建器最终为分析师服务，记者是指导的，建筑商可以在施工过程中完全表达分析师的数据要求吗？这些将这些报告功能传递或拆卸到程序化和模块化语言中到底是什么？该平台以及他们需要完成什么功能？同时，应保证该平台如何为分析师提供准确，高效和全面的数据？接下来，我们可以通过可视化过程通过拆卸和抽象来回答上述问题数据的。

　　2.2.1过程抽象

　　我们使用数据，然后抽象和组件分析分析师的整个过程。分析师通过平台输入查询条件，指示器，尺寸等。该服务器是根据平台输入组装并查询数据库的，然后计算相关的导数索引集成计算结果，并最终根据相应的样式显示了结果。整个逻辑过程的拆卸如图所示。1。

　　△图1过程抽象逻辑

　　2.2.2总体体系结构

　　根据数据的可视化过程，可以看出一个完整的视觉平台需要包括数据采集，数据计算和数据显示。如何获得数据以及如何显示它需要统一的配置管理以及如何计算数据快速准确地负责一般计算服务。在同一时间，可视化平台还需要确保数据的质量。当数据存在或延迟时，可以通知构建器以及时处理数据问题，这些负责是造就套筒的操作和维护。通过数据可视化和此类平台的经验摘要，我们将其分解为可视化平台架构如图2所示。

　　△图2整体架构图

　　在不执行配置之前，声明的构造需要基于数据库开发计算逻辑，分析，下载和其他功能的后端开发人员。前端开发人员是根据数据渲染的。ESSENCETHEUNIFIED配置工具是在数据库和演示介绍之间构建的桥梁。数据构建器配置为相关信息，例如配置工具的配置接口的配置工具的配置接口。对于配置样式和内容，用户可以在相应平台上查看报告，分析或下载数据。

　　△图3配置过程示意图

　　3.1.1统一配置工具

　　为了降低配置工具的复杂性，降低用户学习成本并提高配置的效率，分析方案为业务和数据需求的相对稳定的分析方案设计了固定的显示模板。模块。

　　△图4均匀配置工具组成

　　配置工具页面根据用户选择的模板显示相应的配置内容。除了配置数据源，指示器，维度和其他相关信息外，它还需要配置筛选控制，分析组件和其他内容。在同一时间，配置工具还支持增加当前模板的增加功能通过扩展配置，以基于模板进行二级开发。在基本配置外，完整的配置工具还增加了索引管理，维度管理，配置验证和其他功能的基本支持。

　　1.索引管理：统一管理指标和导数指标的信息，并根据指标的属性特性提供每个参数的默认值。配置配置页面时，配置页面可以直接使用指示器的默认配置信息来管理模块以实现指示器的指示器，并实现指示器的指示器以实现指示器的指示器以实现指示器以实现指示器的指示器实现指标指标以实现指标的指标，以实现指标的指标，以实现指标的指标，以实现指标的指标，以实现指示器的指标以实现指标以实现指标指示器以实现指标的指标，以实现指标的指标，以实现指标的指标，以实现指标的指标，以实现指示器的指标，以一次实现指标多次使用指标。不仅提高了配置人员的配置效率，而且还提供了DEFAUL指标参数的t值，但也有助于标准化统一平台样式；

　　2.处置管理：根据数据源配置信息，生成模板信息的尺寸，配置人员只需要简单地调整尺寸即可显示名称和订单，方便且高效；

　　3.配置验证：检查用户配置的SQL是否正确，并快速找到错误配置。

　　3.1.2语句演示

　　数据可视化平台为用户提供丰富的图表组件（表，趋势，蛋糕，卡片，地图等）和过滤条件（单个选择，多项选择，日期，输入框等）。视觉需求。

　　△图5该声明提出的架构

　　报告中演示文稿的主要任务是以图表的形式渲染浏览器中的格式数据，以供用户查询和分析数据。该报告提供的基本组件单元分为两类：

　　1.控制组件：配置工具中配置的组件，例如筛选条件，日期类型等。这种类型的组件同时呈现组件的内容；

　　2.数据组件：需要渲染的特定数据，例如表中的数据和折叠图。数据的这一部分由通用 - 可使用计算模块提供。渲染组件后，此类组件重新启用了特定的数据信息（不同的数据源）用于内容渲染。

　　为了满足复杂的分析方案，在呈现时通常使用多种样式使用它。设计时，全面考虑代码的复制，通用性和可扩展性，以将图表拆卸为最小单元，并将其封装并封装它们成组件。根据构建器的分析方案，构建器在配置工具中排列了每个组件的最终布置。

　　△图6语句呈现的组成

　　对于业务和数据需求相对稳定的分析方案，报告表的演示文稿旨在实现14种类型的演示模板，该模板支持诸如交互式查询，顶级分类和真实时间数据等业务方案的配置。场景，我们可以重复使用基本组件并在线开发。

　　△图7配置模板

　　3.2常规计算服务的前一部分介绍了配置工具服务和语句演示。计算服务是整个数据可视化平台的大脑。它主要负责根据不同的计算规则处理数据库中的原始数据，并生成用户所需的数据表格。不同用户分析不同用户的维度，观点和方案，例如：在最佳方案中，分析更改的更改在关键维度（例如客户，产品等）的数据中；交叉分析导致变化的原因，预测未来发展的方向；有些人需要长时间数据来分析指标随着时间的变化规则；对于关键业务，您需要实时查看数据更改。除了涵盖已知和复杂的业务方案外，计算服务还需要考虑业务的持续扩展和数据加深，并快速跟进业务发展

　　3.2.1体系结构实现

　　全面的业务场景复杂性，代码重复使用，服务可变性和各个方面的可扩展性，我们对一般计算服务结构进行了分层设计。阅读并可以快速支持新指标的扩展。

　　△图8计算整体服务体系结构

　　1.参数验证层

　　对于不同业务方案的数据请求，计算服务所需的参数不同。我们独立检查参数验证部分，抽象公共参数验证逻辑，然后对每个模板的唯一参数执行独立验证。

　　2.模板服务分布层

　　为了满足不同的业务场景和数据显示需求，我们已经设置了模板服务分布层并根据业务方案进行分类，以抽象多个服务类别以服务不同的数据方案。分发层计算数据源，指标，维度和其他根据用户在配置工具中配置的信息，然后通过计算请求将其分发到特定服务类别。

　　3.多维分解层

　　为了支持数据数据分析维度之间的关系，我们设计了一个多维分解层，根据数据级别分解多个并行计算过程。多数线程平行计算允许不同的级别计算以不干扰彼此和有效的计算。

　　4.数据采集层

　　为了支持各种类型的数据库，将来易于添加其他类型的数据库，我们将数据采集层抽象，阻止上层层次数据采集的逻辑，并提供统一的接口。基础数据库可以支持MySQL，Palo，XDB等，它也可以轻松快速扩展以支持新的数据库类型。

　　5.分层计算层

　　多维分解层分解的多个计算过程，每个计算过程都是一个独立的模块。基于数据采集层提供的原始数据，它是按平行计算的Zhou Tong，Ringhuan和7天平均计算得出的。场景的分析分析。衍生指标是单独计算的，不会互相影响，易于彼此，很容易易于扩展和不影响计算效率。在最后，屏蔽了延迟查看板（本节之后）提供的数据延迟和屏蔽信息，以防止平台显示异常数据。

　　△图9层操作层

　　6.格式层

　　格式层主要负责根据不同的演示组件格式化，并且在服务器上执行数据处理操作。前端用于减少前端的性能消耗，改善前端数据显示和渲染效率。在同一时间，格式层屏蔽了基础计算逻辑，以便一般的 - 可使用计算服务可以快速访问提供计算能力的新声明演示平台。

　　数据可视化平台的核心是数据。平台的底层维持大量数据流。这些数据来自不同的上游。将原始数据提取，处理和总结多层数据以生成最终的前端表。在整个过程中可能会发生多种问题，例如到位的数据源数量，导致页面数据显示不完整，异常上游数据，数据清洁过程中的异常等等。为了确保数据的准确性，通用计算服务部门提到的是，需要屏蔽异常数据，并且屏蔽信息来自操作和维护板。

　　△图10操作和维护视图板组成

　　操作和维护板中的监视数据已经到位，检查数据的准确性，并保证数据的正常输出可以护送整个平台数据的准确性和权威。ITS核心功能是数据延迟监视，数据质量验证和平台公告管理。总体工作流量如下：

　　1.调度系统负责所有ETL任务的调整和状态。在运行ETL任务后，通知消息队列将通知看板数据输出；

　　2.将查看委员会转移到数据验证服务中以执行验证任务，结果将转移回看板；

　　3.看板报告的数据输出状态，根据验证规则检查数据波动是否为超级阈值，然后通过消息队列将数据和验证结果分配到相应的报告平台；

　　4.每个报告平台重新计算数据以根据接收到的消息更新数据缓存。

　　△图

　　3.3.1数据延迟监视

　　为了确保SLA时间内的常规数据任务的输出，延迟监视模块监视器并根据报告和SLA时间信息的ETL任务向适当的数据警报。DATA延迟监视模块，以分发监视模块尽快给各种平台的消息以确保数据缓存在时间上更新。对于数据报告，延迟监视和支持配置数据都已到位或部分呈现规则。查看板基于用于数据屏蔽管理的配置规则。如果数据不是在SLA时间内生成的，则负责报告的人将在及时跟进数据操作状态。

　　为了促进报告表的输出，查看板还提供了接口数据输出监视接口。通过接口，统计数据输出，ETL任务状态等查看报告的负责人。

　　△图12数据输出监视接口

　　3.3.2数据质量验证

　　为了确保数据的准确性和权限，将在平台数据显示之前对数据进行验证后的操作和维护板，根据验证规则生成屏蔽信息，并将消息队列分发到每个报告平台。经过验证的数据异常，负责报告的人会通过多种警报方法（例如SMS，电话和电子邮件）告知，提醒您遵循数据异常条件。

　　数据验证规则当前旨在实施三种类型：

　　1.前端表验证：支持验证规则，例如同一环-on-side，尺寸阈值，并在前端表数据验证后进行验证。

　　2.数据源验证：支持验证规则，例如同一环-on-side，大小阈值等，并且在从上游绘制数据后执行验证规则。

　　3.自定义脚本扩展，支持用户自定义验证规则，并提供OpenAPI接口屏蔽数据。

　　3.3.3屏蔽和公告管理

　　除了数据延迟监视和数据质量验证外，还可以屏蔽数据。操作和维护委员会还提供直接屏蔽数据功能，以避免用户引起的其他问题引起的异常数据。当数据异常或特殊事件引起大量数据波动时，将宣布公告模块的公告，以告知用户原因数据波动波动。

　　基于模板配置的数据可视化平台由统一的配置工具，通用 - 使用计算服务，语句演示，操作和维护板组成。统一配置工具负责管理如何获取数据以及介绍哪些图表样式；通用机器计算服务提供衍生指标（日本环，Zhoutong，平均7天，QTD，MTD等）方程计算功率；操作和维护板提供了诸如延迟监视，质量验证，屏蔽管理和其他功能之类的功能，以确保数据的准确性和及时性；该语句介绍了丰富的图表组件（表，趋势图表，蛋糕，地图等）以及过滤，过滤）和过滤器（单个选择，多项选择，日期，输入框等）满足复杂的视觉需求。配置模板适合业务需要配置对开发快速响应的开发，同时，易于扩展的体系结构可以灵活地跟踪业务变化或扩展。简单的术语，我们的平台：

　　1.与自我服务BI相比，辅助功能更强大，并保证了数据质量

　　具有组件的能力，我们还建立了各种辅助比较功能，同时保持了高度的自由度并在页面上灵活地支持业务。通过完整的报告页面，您可以系统地分析想法并获得多样化的自我服务-Service -Service -Service -Service -Service -Service -Service -Service -Service -Service -Service -Service -Service -service service service -service service -service service service -service service service service service service service service service service service service service soverservice soverservice。功能可以增强对业务的认识。首先，用户对数据的信心被降低，在管理之前管理异常数据，以及一系列方法，例如延迟监视，数据质量验证，屏蔽和公告，以确保数据的准确性。“您看到的是收入，所有收入都使用了”。

　　2.与传统的BI相比，更快，高效

　　如前所述，定制开发的最大缺点是长期开发，高成本和影响数据输出和分析的效率。我们比较组件，显示容量组件，配置，丰富的导数指标计算能力，演示成分，以使其成为尽可能接近定制的平台功能。即使平台不支持的新业务场景也可以参与其分析场景的构建。基于数据的基于数据的可视化平台也可以快速响应业务需求，支持业务能力分析，并授权业务。