在大数据时代,大家都意识到数据已经成为企业宝贵的资产,但是如何让数据发挥作用一直困扰着大家。数据技术人员需要长期了解某项业务,业务人员很难利用现代数据分析工具为业务赋能。那么,如何将公司数据与业务快速融合,成为众多数据从业者和数据服务厂商长久以来思考的问题。01数据赋能业务的“绊脚石”回想一下,Hadoop从2006年开始自主研发,到现在已经16年了。这些年来,出现了很多数据技术栈,从数据的访问和存储,到数据的计算和分析。可谓百花齐放。但是,在数据融入业务的过程中,一些问题也逐渐显现出来。我们经常听到这样的声音:“先提交一个数据需求流程,我们评估一下开发工作量,排期开发”。逻辑是不同的。”“先生。李老师,这个指标定义中的XX是什么意思?这数据源从哪里来?那么为什么我们会经常出现以上“抱怨”,归纳起来无外乎以下几点:数据开发流程长,数据统计不一致,技术人员和业务人员协同困难,开发维护成本高。这样一来,我们的数据开发人员总会有无穷无尽的“上报数据”需求,数据产品总会开不完的会,年末还要写数据为公司创造商业价值。02数据人的奋斗资深数据人当然知道当前数据赋能业务中的“拦路虎”,同时也做了一些尝试。优化数据开发流程完整的数据开发流程分为以下六个阶段:提案阶段、设计阶段、开发阶段、测试阶段、发布阶段、运维阶段。过去,也许我们会在不同的平台上管理每个阶段。比如我们用一个工具做数据建模,一个工具做数据开发,一个工具做数据测试。现在我们已经搭建了统一的数据平台,形成了设计、开发、测试的工具。流水线的工作形式。业务需求接口人建立业务需求接口人,涉及某一领域的数据需求,通过统一角色转换向数据团队提交开发申请。技术融入业务需要数据开发人员定期与业务一起工作,了解整个业务流程,提高对业务的理解。为降低成本,从技术上建立冷热数据存储机制,优化压缩算法,建立数据生命周期。可以说,在某些方面确实让数据开发者更轻松了,但数据赋能的商业价值真的提升了吗?03数据赋能业务探索数据中心数据中心在过去几年很火,但最近似乎降温了。回过头来看,数据中台的概念最初是为了实现数据的分层横向解耦,提供全局的数据服务而提出的。主要包括以下四个部分:数据资产、数据治理、数据模型和数据服务。数据模型就是我们熟悉的数据仓库中的模型。模型按照数据仓库规范分层开发,实现数据的标准化。数据资产,我们在数据仓库中建立了一些模型,但是打通了数据孤岛之后,才能称之为资产。数据治理,为保证数据资产的完整性、准确性、一致性、及时性,为业务保障提供统一、准确的指标。数据服务,提供统一的数据服务在线查询视图,让开发者快速便捷的接入数据服务。数据仓库是“管理数据”,数据中心是“运营数据”。数据中心是为提供服务而生的,也有说是为前台而生的。数据中心的用户仍然是开发者。对于企业来说,业务人员是“规则制定者”。只有让业务人员“随手”使用数据指标,才能实现真正的数据赋能。那么一个业务人员“零门槛”操作的数据指标平台将成为企业实现全面数字化转型的必备条件。台湾现代管理学之父彼得·德鲁克有一句非常经典的话:“Whatgetsmeasuredgetsdone”,意思是只有一件事可以量化,然后才能解决。就像家里有一个体重秤来衡量减肥效果。那么如何对企业进行量化管理呢?这种衡量业务的统一标准就是指标的由来。因此,从业务运营的角度来看,指标可以衡量业务发展情况,为未来的业务方向决策提供重要支持。平台内指标的主要使用者是业务人员。许多数据专业人士也尝试过面向业务人员的平台。比如很多“数据自助分析平台”在推广过程中经常听到业务人员说,“你的工具还不如我的Excel好用”。所以业务人员的平台门槛一定要低。要达到普通人也能像专业人士用单反相机一样用手机数码相机拍出漂亮照片的效果。结合现阶段我们在数据赋能业务中遇到的问题,指数平台应该能够具备以下四个特点:高效协同管理、业务敏捷性提升、数据口径一致、开发成本降低。高效协同管理,用户可创建Goals(目标),通过多级目标结构对指标进行管理,形成指标体系,实现管理可观察性,完成从数据到管理决策的闭环。业务敏捷性得到提高。业务人员可以使用无代码、低门槛的指标管理平台,利用平台自动构建指标能力和行业指标模板,快速迭代赋能业务。数据口径一致,建立统一的指标目录,使组织能够轻松定义和管理指标,形成统一的指标口径,通过治理进一步提升数据的可信度。降低开发成本,业务人员自行创建和复用指标;数据团队摆脱繁重的ETL工作,只需要专注于指标管理;企业的人力效率大大提高。04索引中心平台展望索引中心站并不打算完全取代数据仓库,但两者之间的关系是融合与合作。数据仓库作为指标平台的上游数据源。因此,在阶段上,建议从业务角度明确需要的业务指标,然后访问数据仓库中的数据,在指标平台中定义和管理指标。那么,数据处理平台与指标中心的协同也需要更加便捷。对于AI的支持,现在很多业务除了指标之外,还需要深度的数据挖掘和分析,就像我们过去的ETL任务都是离线的。随着数据技术的发展和业务需求,我们有越来越多的实时流处理任务。那么对于指标中心来说,提供全方位AI分析能力的需求也会越来越大。任何一个技术平台的生态建立和推广使用,都需要建立相应的行业生态,否则很难推广。以生态带动业务上下游共同使用平台,逐步形成标准,有可能发展成为“行业中台”。在这种情况下,对于整个行业的业务赋能和效率提升将更有意义。
