当前位置: 首页 > 科技观察

“有序漏斗”算法难题 有望在易观A10峰会获得新突破

时间:2023-03-14 00:00:34 科技观察

“有序漏斗”算法难题有望在易观A10峰会上取得新突破Cornerstone移动应用正在改变世界。如何在技术层面升级“漏斗”,充分释放大数据的充沛能量,是当前数据应用领域的重要课题。进入互联网下半场,移动应用的主战场已经从增量用户获取转向存量用户运营。提高用户留存率和活跃度成为产品运营的核心。当用户使用某个移动应用程序时,他们使用路径来实现他们的目标。例如,用户的网络购物行为可以看作是“浏览商品→加入购物车→生成订单→支付订单→完成支付”的路径。路径中的每个节点都有不同程度的用户流失,层数减少后形成整体的漏斗状模型。目前公认的计算关键路径的方法有两种:无序漏斗和有序漏斗。在无序漏斗中,事件可以任意排序,例如用户随意切换页面和返回首页,不受步骤之间逻辑顺序的约束。但是有序漏斗的每一步之间都有严格的顺序限制,第二步的事件必须发生在第一步之后。例如,在支付过程中,需要先选择要购买的商品,才能进入相应的支付操作。有序漏斗广泛存在于购物支付、信息注册等对逻辑层次要求严格的路径行为中。与用户路径重叠率极低的无序漏斗相比,有序漏斗的数据研究更有价值。“漏斗”模型的计算核心是分解和量化。面对海量复杂的用户数据,“有序漏斗”由于逻辑约束,在计算过程中面临着更加艰巨的挑战。在批量处理海量数据的同时,复杂数据的实时处理效率难以保证。“漏斗”升级的技术难点在于计算速度。一些互联网公司致力于大数据分析工具的研发,希望从技术层面实现“有序漏斗”计算效率的突破,但关键成果鲜有发布。究其原因,一是难以找到具有相当量级的数据作为测试对象,二是缺乏强有力的技术支持。针对“有序漏斗”计算效率的技术瓶颈,“2017易观OLAP算法大赛”将联合攻关。作为已经拥有易观万象、易观千帆等成熟数据产品的行业龙头,易观此次面向公众开放,为数据专家发豪帖,招募算法专家,共同攻克“有序漏斗”技术难题.从主办方获悉,本次易观OLAP算法大赛参赛规则为:根据主办方提供的应用改造和OLAP场景,参赛选手首先使用测试数据集在指定的测试集群上运行进行测试结果,最后用实际测试数据在测试集群上运行整体数据,给出时间排名。在技??术层面,选拔赛使用的OLAP漏斗场景,需要海量数据的实时多维有序分析模型。在数据处理方面,通过数据切片和预处理、列存、压缩、字典和索引等的综合运用,在细节上结合一些巧妙的推理,降低计算量和复杂度,实现数据的精准化具体尺寸观察。还可以通过下钻等操作提高数据的粒度,获取更丰富的数据细节,让数据分析高效、深入、有价值。在数据层面,截至2017年第三季度,易观易观目前每天处理261亿条数据,累计覆盖297个领域的21.9亿个智能终端,监测超过251万个移动应用,数据存储容量为5.8铅。本次大赛依托易观易观亿级海量数据库,使得大赛结果更具公信力和现实指导意义。本次比赛的云计算服务由UCloud提供。目前,比赛已正式进入比拼阶段。近40个团队和个人将分别参加商业组和开源组的比赛。事业群吸引了包括咪咕音乐、北京乐见科技、南京帆软软件、杭州代数科技、北京润钱信息、Kyligence、AggreData、Gbase等公司在内的强大技术团队。开源组有来自小米、美团、热云数据、元速数据、LinkDoc、hulu、乐享天下、牛伴科技、上海瑞民、北京交通大学的数据专家。10月27日,易观A10大数据应用峰会将在北京盛大开幕。届时将决出本次OLAP算法大赛的优胜队伍,并在峰会上展示大赛优秀案例。在***数据大师的指导下,国内专家联合攻关,“有序漏斗”计算效率问题或将迎来重大突破。