100+天的激烈角逐，40+国内顶尖科技巨头对决，历经研发内测、正式环境测试、易观官方环境对标三个阶段。10月28日，易观OLAP算法大赛获奖名单出炉！易观OLAP大赛可谓是国内算法界的“武林大会”。英雄帖一经发出，就引起了各大互联网技术院校的积极响应。吸引了美团点评、阿里云、小米、链家、搜狗、科大讯飞、联通、元速数据、乐健、汇聚数据、GBase、Kyligence、PingCAP、LinkDoc、科大讯飞、hulu、上海瑞民、热云数据、润钱、帆软软件、咪咕音乐、杭州代数科技、上海荔枝、千鼎互联、北京健客云网、广州矢量线科技、乐享天下、牛伴科技、北京邮电大学、北京交通大学等40余家知名企业、科研院所和个人报名参加。6组算法新人诞生。本次易观OLAP算法大赛分为商业组和开源组两个组别。从7月开放注册到10月正式环境benchmark跑。经过多方测试，最终确定了6组易观OLAP算法新人：事业组前三名：名字：PingCAPPingCAP是国内第一家开源新数据库公司。其分布式高可用数据库TiDB支持水平扩展。兼容MySql，支持分布式事务，是大数据时代理想的数据库集群和云数据库解决方案之一。在本次比赛中，PingCAP利用自研的Magic引擎、多层流水线、智能并发等技术，以最快的速度对数据进行暴力扫描，取得了不错的计算成绩，因此获得了业务组的第一名成绩。第二名：帆软软件帆软团队在本次比赛中使用了帆软自主研发的直连分布式引擎。分布式存储系统基于Alluxio和HDFS，采用列式存储方案，以Spark为基础，以流计算为基础，辅以高性能查询算法，为直连引擎提供强大的查询支持。面对亿级数据、多维度的复杂场景，直连分布式引擎可以大大提高有序漏斗的计算效率和准确性。第三名：GBaseGBase本次比赛使用了自家产品GBase8aMPPCluster。GBase8a采用行列混合存储，可以处理PB级以上的结构化数据。同时采用先进的数据压缩算法，有效提升IO性能。在数据处理方面，采用完全并行的MPP+ShareNothing分布式架构，支持高并发，因此在有序漏斗的实时计算上更加高效。Analysys易观OLAP算法大赛商业组颁奖典礼开源组前3名：一等奖：广州矢量线科技韦万、李本旺在开源组比赛中，韦万、李本旺探索出一条不一样的路，向北学习。使用国内鲜为人知的俄罗斯神级开源软件ClickHouse参与。利用ClickHouse超强的分析性能和灵活的架构特性，将集群间节点的计算完全并行化，同时优化底层存储和上层计算细节，挖掘CPU缓存、向量化执行和特定算法优化的潜力。魏万和李本旺的团队凭借在时效性和精准性上的出色表现，成为本次比赛的黑马，获得开源组第一名。第二名：美团点评孙烨瑞美团点评团队结合自身业务优势和经验设计了本次比赛的解题思路。采用位图快速过滤和基于时间戳的序列匹配算法，利用ApacheSpark、Alluxio等开源框架快速实现，采用一系列工程优化方法，在每天百亿条日志、百万属性的数据集上，实现有序漏斗的二级查询。在易观官方的数据环境中，美团点评团队实现了26亿数据、400万用户、数十种属性场景下的快速查询。第三名：北京邮电大学卢悦凯易观OLAP算法大赛也吸引了计算机名校的个人选手参赛。北京邮电大学研究生卢悦凯使用HDFS作为存储，Spark作为数据预处理和核心过滤算法。借鉴了存储和更新最长增量子序列的思想，将求每个用户转化率的时间复杂度改为0(n)，提高了漏斗计算的效率。易观OLAP算法大赛开源组颁奖典礼开源组10万元现金奖励易观OLAP算法大赛将为各组前三名团队颁发获奖证书，开源组第一名还将获得10万元现金奖励来自优酷网。据悉，万维和李本网在获得开源团体称号后注册了自己的公司，将对算法技术进行更深入的研究和实践。开源组第一名10万元奖金颁奖盛典赛制公平有含金量2017易观OLAP算法大赛“有序漏斗”实时计算效率和准确性取得突破性成果，这离不开易观海量数据的支持和UCloud强大的技术支持。UCloud一直是易观的好伙伴。在本次比赛中，UCloud为所有参赛队伍提供了稳定的底层IT计算资源服务。比赛在4台16核16G内存、300G硬件SSD数据盘的UCloud云主机环境下进行。比赛过程中给出8个不同的场景，同时开始计时。每个场景的运行时间必须在8分钟以内，8个场景的整体比赛时间在1小时以内，以检验参赛队伍在不同场景下的实时计算准确性和时间效率。每个场景根据事件的数量、事件的复杂程度、事件的属性、时间窗的大小分配不同的权重。总分由单个场景乘以该场景的累计权重得到。在8个场景中，运行时间最短且准确率最高的团队获胜。在官方数据环境启动阶段，还全程录像，确保比赛结果的含金量。作为易观A10峰会的重要项目，OLAP算法大赛不仅为技术黑马提供了展示实力的道场，也为行业挖掘了更多的技术人才和更好的解决方案。做科技领域的“伯乐”，让世界看到更多“黑马”，易观易观致力于推动大数据应用的创新。未来，易观OLAP竞赛取得的成果将用于数据产品的研发，从技术应用层面践行“以数为实”的实践。
