背景所有的业务都会面临“为什么涨,为什么跌,是什么原因?”这个简单粗暴又难以定位的业务问题。为了找出数据变化的原因,业务人员会使用多维查询、仪表盘等数据产品锁定问题,然后辅助人工分析找到问题原因。这个过程通常需要一天的时间。几乎每个业务角色的用户都在做类似的分析,但是当业务分析师的工作发生变化时,分析方法很难很好地继承。因此,我们需要一款能够自动给出分析结论的智能数据产品来解决上述问题。产品的基本功能如图1所示。图1产品架构图从上图可以看出,指标逻辑树是我们抽象出的智能交易分析数据产品的最佳实践。抽象固定的分析方法和业务场景,应用灵活的数据源(包括Kylin、MySQL、Elasticsearch、Druid等),自动生成适合各类用户的交易分析报告;它可以直接给出分析结论并快速实施业务行动,减少分析成本和决策周期。选择两个时间段,指定指标顺序,通过指标逻辑树找出导致核心指标变化的关键指标。同时可以拆分单个指标的细分维度,锁定细分维度对整体的影响。挑战IndexLogicTree作为支撑酒店各条业务线的交易分析数据产品,面临以下挑战:基础指标和维度众多,数据来源不同。支持多种交易分析算法。自定义计算指标。针对上述挑战,我们提出以下解决方案。解决方案:指标逻辑树架构图2指标逻辑树架构如图2所示:指标计算用于解决多基础指标、多维度、来自不同数据源的问题和自定义计算指标的问题;采用分析算法,支持多种交易分析算法;计算服务采用master-work方式解决查询性能问题。具体方案指标计算指标计算包括指标漏斗、指标基本序列、指标分类。它们之间的关系如图3所示。图3指标计算如图3所示,指标漏斗是用户自定义的有序指标序列,包括基本指标和计算指标(例如B=(L+H)*是);基本指标序列为指标漏斗将计算指标按顺序拆分后的指标序列;指标分类采用大生魔方(参考大生魔方:https://tech.meituan.com/dsmf.html)配置的规则对基础指标进行分类。分析算法目前指标逻辑树支持两种交易分析算法,后期可根据需要进行扩展。一种生成瀑布分析图的串行迭代分析方法。根据指标下钻维度方案,生成单项指标解释度的基尼系数算法。下面分别介绍这两种算法在指标逻辑树中的应用。链式迭代分析法链式迭代分析法用于从用户自定义的有序指标列表中找出引起核心指标变化的关键指标。如图4所示,当前指数E的波动主要是受A指数波动的影响。图4瀑布分析图图5指标漏斗如图5所示,意向UV、访问购买率、人均订单量、联名率、SKU单价等几个指标的数据波动都可能导致支付GMV的波动.使用序列迭代分析方法,可以确定特定指标对当期支付的GMV波动的影响***。算法公式,支付GMV=意向UV*访问购买率*人均订单量*联名率*SKU单价。基尼系数基尼系数A/(A+B),用于计算各下钻维度方案对单项指标波动的影响,横轴采用特征组基期的累计占比,纵轴采用波动值的累计比例(可以为负值),基尼系数越大,特征越能解释波动。图6基尼系数的计算如图6所示,通过指标计算获取层级下钻维度中各维度的基础数据,如各城市层级的本期和基期值;分析算法是根据维度的基础数据计算排序因子,利用排序后的排序因子计算基期累计占比和各特征组波动值累计占比,然后得到基尼系数;最后选择基尼系数最高的特征作为最终解释。计算服务随着业务分析需求的增加,自定义指标序列的分析和单个指标的下钻维度方案将急剧增加。由此带来的影响是单个请求需要支持大量的查询任务,从而提高并行度。计算能力是提高系统性能的关键因素。如图7所示,计算服务包括任务拆分、并行计算和结果合并。图7计算服务任务拆分任务拆分分为以下几个步骤:将指标漏斗中的计算指标拆分为基础指标。填写基础指标的详细维度方案,记录指标的各个维度方案以及各个方案下的层级下钻维度。根据数据模型和维度方案对基本指标进行分类。并行计算并行计算提供分布式计算功能,主要处理任务拆分后的细粒度查询任务。查询任务主要分为以下两类:按数据模型分类的索引序列查询任务,需要分别查询当期和基期的值,查询量比较小。查询任务按照数据模型和维度方案分类后,需要分别查询当期和基期,涉及到详细的维度,查询量比较大。结果合并结果合并主要针对计算指标,是用户定义的基础指标的一套计算公式。并行查询的结果是针对基础指标的,需要结合基础指标的查询结果数据,生成符合计算公式的指标数据。结果合并模块需要做两部分工作,一是对计算公式进行解析,二是在已有数据的基础上,根据计算公式生成新的数据。系统中用于数据组装的主要模块如下:如图8所示,根据拆分后的基础指标数据,生成满足计算公式的计算指标数据。如图9所示,根据拆分后的下钻维度基础数据,分别计算各个维度的数据,生成符合计算公式的下钻维度数据。图8计算指标数据拼装图9指标下钻维度数据拼装总结指标逻辑树已经在美团点评酒店旅游的各个业务条线中应用,获得了很多好评。本文只是指标逻辑树的大纲。目前的产品还处于起步阶段,未来还有很多功能需要完善。【本文为栏目机构“美团点评技术团队”原创稿件,转载请微信联系机构♂获得授权】点此查看作者更多好文
