当前位置: 首页 > 科技观察

数据果王金:大数据时代摆脱局限,做智能挖掘

时间:2023-03-16 16:57:08 科技观察

8月27日,WOT2016移动互联网技术峰会在北京JW万豪酒店隆重举行。本次大会将围绕应用架构、平台技术、性能优化、创新技术、VR技术、前端技术、APP技术、运维与安全、数据分析、直播技术等主题展开讨论。树果科技创始人王进出席峰会。我们非常荣幸采访到本次峰会的讲师:树果科技创始人王进,共同探讨探索性数据分析技术的应用。王劲先生是树果科技的联合创始人兼CEO。此前,他就职于酷狗音乐,主导了酷狗音乐大数据平台的建设。今年5月,树果科技成立。树果科技主要解决大数据平台的快速挖掘和分析问题。数据挖掘解决方案将大数据挖掘从传统数据分析挖掘的局限中解放出来。一般先建立数据模型。模型建立后,对部分数据进行采样,提取部分样本数据进行训练。这也是传统方法的局限性。原始数据中有价值的信息可能被遮挡,模型数量有限等问题一直困扰着传统的数据分析和挖掘。王劲在接受本网记者采访时表示:探索性数据分析分为两个阶段,一个是探索,一个是验证。我们传统的做法只是验证阶段,而不是探索阶段。树果科技所做的探索性分析,就是基于这两个阶段的数据分析。大数据分析需要在原始数据的基础上发现数据的规律,然后根据这个规律对数据的准确性进行建模和验证。这方面主要是为了弥补以往数据挖掘分析的不足。谈到探索性数据分析的意义,王进认为,它可以从数据中发现更多的价值。传统的数据分析只是通过一套框架和规则进行分析;而探索性数据分析的好处是没有限制,打开限制,可以任意发挥,因为更多的探索性是基于不同维度的发现规则,不管用户有多少维度,都可以通过这些维度挖掘。大数据时代,需要实现智能挖掘。在应用方面,树果的解决方案是面向全行业的。现在我们常见的数据挖掘还是更多的是以建模为先。这种探索性构造分析理论是由约翰·杜克(JohnDuke)在1960年代提出的。现在我们已经经历了大数据时代。由于数据的不规则性,大数据更集中于非结构化和半结构化数据。这些都需要通过这个方法不断发现它的潜在价值,而不是说我们用一个模型固化它,然后挖掘已知的价值,未知的价值可以用新的方式去挖掘。实战方面,据王进介绍:以电商客户为例,树果提供的解决方案更多是基于行为预测,通过探索性分析来预测他的部分用户流失,哪些用户可能成为他的用户重点客户,主要是把这个维度扩大一点,而不是局限在里面。现在大家在做数据挖掘分析的时候,更多的数据分析是基于已有的模型。市场上现有的行为分析产品只能实现流程转型,但基于数据的解决方案可以做得更多,包括预测未来。客户预测、流失等,可以找到所有详细信息。探索性数据分析更多的是基于原始数据,因为原始数据可以用传统的方式来做,但是大数据时代原始数据分析的成本非常高,如何解决海量数据中快速反应的问题,基于大数据加速、多维分析、数据挖掘加速,都可以通过Shugo平台实现。数据的价值巨大,需要新技术去探索。谈到未来的发展趋势,王进表示:树果现在主要是做大数据的研发,因为未来大数据肯定是一个大趋势,从各个层面都可以看出大家对大数据的认知程度越来越强。从我自己的实践经验来看,现在大数据的发展已经解决了海量数据存储的问题。至于如何从海量数据中快速发现其价值,并对其进行快速查询和挖掘,目前还没有完整的解决方案。现在的SPARK也是如此。SPARK只是对迭代技术效率更高,非迭代没有优势。相比之下,与硬件的交换成本还是很高的。现在数据量越来越大,大家也越来越关注数据。如何从海量数据中快速找到有价值的数据?这将是未来更重要的发展方向。