当前位置: 首页 > 科技观察

大谈数据:科技热潮下对应用场景的酷思考

时间:2023-03-14 01:10:22 科技观察

无处不在的数据催生了新的工业革命,庞大的数据资源加速了各个领域的量化进程。数据分析能力越来越成为企业的核心竞争力,因为指导企业决策的不再是经验和直觉。毋庸置疑,数据作为当前重要的生产要素之一,正在助力企业不断开拓新业务、创新运营模式。但是,我们都知道,并不是所有的数据都能为企业所用,也不是所有的IT人员都懂得如何使用数据。尽管大数据热潮席卷已久,但技术支撑困难、创新能力不足、专业人才匮乏等问题仍然是阻碍大数据在企业实际应用的绊脚石。近日,51位CTO携手IBM,汇聚典型传统企业和一线互联网企业的技术专家。他们以“聚大数据谈数据,畅想未来”为主题,探讨大数据驱动的技术创新和业务转型。近三个小时,IBM大数据技术专家刘胜利、黄海硕,国内某能源行业云计算事业部技术总监孙杰,即时消费自助数据官陆毅磊AdMaster副总裁、品数网首席数据官烈山义与民生银行北京管理部数据应用部部长郭庆,从理念、技术、业务到趋势展望,畅谈交流大数据,分享“探索、共享、共进”的力量。机器智能与商业创新前不久,AlphaGo大战李世石的消息让谷歌给全世界上了一课。一时间,大街小巷,不管是不是专业的IT技术人员,都在讨论“人工智能”这个概念,这个概念并不新鲜。从1997年的“深蓝”到今天的AlphaGo,从大数据到机器学习,再到不久前IBM提出的“认知业务”,人工智能在过去的20年里经历了怎样的演变?企业应如何贯彻这些“高端”的技术理念,推动业务发展和创新?刘胜利:技术的成熟带来了应用场景的爆发。IBM专家刘胜利评价说,过去十年,大数据技术的热度一次次上升。1997年深蓝与世界冠军帕斯卡洛夫下棋时,人工智能还没有像今天这样在技术上完全成熟。然而最近,AlphaGo的出现却给世人上了一课。不管你懂不懂IT技术,大家都会觉得人工智能技术已经发展到一个很高的水平了。随着这个时代人工智能的发展,出现了特定领域的特殊人工智能,有明确的规则和定义,也有可能超越人类智能。技术的成熟必然会带来市场应用的爆发,尤其是对于传统行业。在石油、金融等传统企业中,信息化程度非常高。面对当前数据存储更复杂、处理能力更强的需求和现状,人工智能和机器学习技术将加速传统行业的业务转型和创新。.至于非传统产业和创新产业,刘胜利认为,也会有社会变革,让大众眼前一亮,思路开阔。以游戏行业为例,下一代机器恐龙和小机器人很快就会成为孩子们的玩具。儿童玩具从购买的那一刻起就连接到互联网。机器人可以通过理解自然语言或手势与幼儿交谈。机器人会根据孩子的思维学习孩子的性格,根据孩子的特点做出个性化的刻画。也许与机器人相处一年后,机器人就会变得完全不一样,包括对话的方式,娱乐消遣的方式。刘胜利大胆预测,如果机器人、游戏、媒体、娱乐等与人交互的各个行业都有大量的数据和需求,五年后,我们会看到今天难以想象的事情。郭庆:以业务人员的痛点作为技术的切入点对底层技术演进迭代的关注不那么敏感。因此,当他听到AlphaGo4:1战胜李世石的消息时,首先想到的有两个问题:第一,为什么AlphaGo在第三局中以压倒性优势战胜了李世石??其次,其背后有多大规模的计算资源提供技术支持?在与嘉宾讨论、寻找问题答案的过程中,他还讲解了如何运用人工智能、机器学习等最新技术进行银行创新思维。郭庆给出的答案是:不要盲目跟风,一定要瞄准某个业务方向,有目标地拥抱最新技术,全身心投入解决实际业务问题,才能取得实质性的成果。具体来说,郭庆认为,问题的关键在于分析业务人员在开展工作过程中的“痛点”,并以此作为问题切入的切入点。以营销人员向客户推荐金融产品的场景为例。在实际工作中,财务经理有大量的账户管理客户。他们应该向每位客户推荐哪些具体产品?一直是大家头疼的问题。为了解决这个问题,他曾带领团队深入研究各大电商平台争相采用的产品推荐系统,并与一线财务经理一起设计银行场景解决方案,并使用大解决方案技术中的机器学习等数据。通过提取目标产品的客户群体数据和财务数据,建立客户相似度匹配模型,利用推荐引擎实现对不同客户、不同产品的精准推荐。在机器学习的帮助下,推荐成功率从最初的6%逐渐提高到3%、5%,甚至在最好的时候达到了10%。因此,技术进步必须应用到实际的业务场景中。当业务人员头疼的时候,就应该考虑介入相应的技术,加上在应用过程中不断优化,从而提高整个系统的健壮性,最终突破传统业务创新发展的瓶颈。大数据平台上的混搭公司更关注技术的实际落地。面对业务类型的复杂性和数据类型的多源异构,企业大数据的基础技术不能只等同于Hadoop。那么,如何混搭大数据平台呢?孙杰:应用转型和性能提升是企业烟囱形态的共同需求。大数据时代,企业开始追求效率。例如,通过对企业历史的线下数据挖掘价值分析,结合线上数据的实时分析,可以产生快速响应。将传统BI与开源方法相结合,应该是架构师或者技术管理者应该思考的问题。这里首先涉及到应用的改造。企业中大量的历史数据需要迁移到新的数据平台,涉及最多的是应用改造。很多像孙杰这样的公司都用过Oracle。现在如果把数据搬走,会涉及到很多具体的程序,比如存储过程,触发器。如果修改方案,会涉及到人力、成本、周期、经营风险等诸多棘手问题。另一个问题是性能。传统数据中心对性能的追求是购买一些高端设备来支持信息化建设,走硬件化道路,给企业带来了很大的成本压力。于是,企业纷纷拥抱开源,开始向互联网化道路转型,以摆脱单纯使用高端硬件来提升业务的局面。但是面对客户的不同需求,开源软件有时并不能提供很好的支持。系统的吞吐量、数据包的流量限制等,离企业的需求和目标还很远。再者,它是关于系统和应用程序之间的耦合关系。大家都在谈大数据,但传统企业很多业务之间存在很强的依赖性。如果要将某项业务的数据全面开放到互联网平台,如何解决业务耦合关联也是企业非常实际的需求。因此,无论是开源还是商业产品,如何从性能、应用改造周期成本、业务处理等角度解决企业数据迁移问题是传统企业的普遍需求。孙杰表示,他们现在其实也在尝试,包括大数据和云的混搭,如何打通公有云和私有云,梳理业务需求和内部联系,兼顾安全和性能。企业也在寻找一个能够模糊公有云和私有云界限,统一管理企业虚拟设备和物理设备的云平台。陆毅磊:探索不同技术的优势结合AdMaster副总裁陆毅磊表示,对于初创公司来说,其实可供选择的技术并不多,基本都是使用开源产品,其中很多都是没有现成的解决方案,只能通过团队不断的试错和摸索,一些经验分享给大家。比如大数据的实时计算,企业经常会说需要Storm还是SparkStreaming。其实关键还是要看业务的真正需求是什么。从表面上看,SparkStreaming和Spark没有区别。但是具体来说,如果你的业务产品需要在一秒内计算并到达B端,你应该选择Storm。如果你的业务管理要求严格的理解和顺序,那么你应该选择SparkStreaming,这是这两种技术的一个很大的区别。另外,陆一磊分享说,他对Hadoop和Spark做了非常详细的对比,得到了一些非常有价值的信息。比如很多人认为Spark的性能比Hadoop好几百倍。但实际上,在处理求和统计的计算需求时,MapReduce还是表现出了比较强的优势;另外像陆一磊这样的AdMaster会同时运行Hadoop和Spark,结合他们的发现,在MapReduce上执行的任务数量远大于Spark。另外,MapReduce的特点是可以保存计算机的结果,下次可以直接进行计算,这样再处理会更快。当然,目前Hadoop社区非常活跃,所以创业公司在搭建大数据平台时,一定要选择稳定、成熟、经过大公司验证的技术。通过不断探索和验证,将不同技术的优势结合起来,实现价值最大化。大数据入侵给营销带来的发展和变化大数据入侵后,将给传统营销带来巨大的变化和发展。如何创新以数据为核心的营销策略,猎聘网首席数据官单义表示,大数据是互联网最早成功运用这一案例的,一个是搜索引擎,一个是广告营销。ShanYi:以数据为纵深箭头ShanYi在广告技术方面有大约六年的经验。他认为,大数据对于营销来说是直观的,可以让广告营销活动更加精准。除此之外,还有很多从表面上看不出来的价值。比如提高整个广告的交易效率。与传统广告营销相比,流动性更强。同时,单毅也认为,在大数据隐私方面,大家普遍会觉得有非常大的挑战。目前,在中国,营销活动还没有受到太深的控制。还是要结合营销和用户体验。如果网站建得不好,外面放的广告再好,如果用户没有好的体验,转化效果还是很差,到头来广告也是白搭。苏奇分享,为了提高转化率,猎聘网曾经建立了用户模型,与没有模型相比,点击率可以提高十倍左右。以前是万分之几,现在增加到万分之几。这种变化的核心是大数据。以数据为纵深箭头,可以让整个营销链条全面到位,确保转化效果。Facebook有一系列GrowthHacking方法。山一推荐大家可以了解一下。这部分在国内也是比较薄弱的环节。云与大数据融合带来的机遇与挑战随着云计算与大数据技术的融合,未来的大数据将拥有更强大的基础资源作为支撑。嘉宾们还就大数据技术与云的未来结合及其发展方向分享了许多独到的见解。刘志军:技术的发展和意识是立马建立起来的。消费金融首席数据官刘志军认为,大数据的本质是技术基础,但未来要实现更好的发展,仅仅依靠IT技术人员是远远不够的。目前,大数据技术还有两大挑战需要解决。一是技术上的挑战,即如何在传统数据概念和基础的基础上更加关注大数据技术。无论是企业管理者还是业务人员,都具备利用大数据依次推演一些数据的能力。对企业发展和业务创新能力起到强有力的推动作用。另一个挑战是许多人对大数据没有完整的了解。对于大数据技术和大数据分析,只有Hadoop是远远不够的。如果大数据分析技术不发达,依靠Hadoop来分析模型和算法是没有意义的。黄海朔:删减——风雨中冷静思考IBM专家黄海朔也告诫大家要从不同的角度冷静看待大数据。大数据近年来被广泛讨论,是一个非常热门的话题。几年前在IBM2013技术峰会上,黄海硕有机会与《大数据时代》的作者VictorMeyer-Sch?nberger进行了一次座谈,启发了他换一种角度看待大数据分析技术。在那次交流中,VictorMayer-Sch?nberger透露了他下一本书的标题,既出乎意料又似是而非——《删除》。大数据来势汹汹。面对大数据,我们既要保持冷静,又要积极探索。大数据不是万灵药。什么数据可以用,有什么用,怎么用,怎么选择,都是我们应该冷静思考的问题。大数据是一个概念。将其落实到具体的应用中,需要从高处思考,从低处着手,循序渐进。然后用可衡量的价值来实现这个,这可能是一些实际大数据更实际的方面。云计算和面向大数据的技术创新正如嘉宾所说,云计算是大数据分析技术应用的基础,海量数据需要更多的计算资源支撑;无论是大数据还是小数据,最终都要应用到业务的价值中。大数据的发展也离不开业务应用场景的构建。随着云计算和以大数据为导向的技术创新,数据的价值将不断被深入挖掘,从数据中获得的收益也将为企业带来前所未有的发展空间和潜力。如果你也想预约大咖分享资料,请扫描二维码: