当前位置: 首页 > 科技观察

TeradataCTO包黎明:用分析引擎实现机器学习和深度学习

时间:2023-03-12 18:59:29 科技观察

【.com原稿】近年来,机器学习、深度学习和大数据分析一直是热门话题。在发展、战略决策等领域的应用也越来越普遍。数据智能技术提供商Teradata天睿去年推出了下一代分析平台TeradataVantage,提供描述性、预测性和指示性分析、自主决策、机器学习、可视化工具等广泛功能,致力于解决当前的分析解决方案.的各种问题。TeradataVantage的高级分析如何使用分析处理引擎来实现机器学习和深度学习?推出六个月以来取得了哪些阶段性成果?这些问题在最近的Teradata媒体发布会上得到了详细解答。高级分析的三个发展阶段Teradata天睿首席技术官StephenBrobst表示,高级分析的发展可以分为三个阶段:第一阶段是描述性分析,用于洞察过去;第二阶段是预测分析,能够了解未来;第三阶段是教学分析,为可能的结果提供建议。Teradata开发的Vantage软件平台是第三阶段的产物,可以为企业提供最好的高级分析能力。Teradata天睿公司首席技术官StephenBrobst如今,机器学习技术日新月异,超越人类的例子比比皆是。令鲍黎明印象最深的是,在某次世界象棋比赛中,挪威和美国的两位国际象棋高手在决赛中打成平局。经过软件分析得知,挪威象棋大师60步本可以取胜,一步内将死对手,但由于棋手只能预测几十步以内的可能性,所以对60步的结果完全无能为力,最后只能绘制。行业预测表明,一些需要简单体力或脑力劳动的职业将被机器取代,例如收银员、卡车司机、简单的翻译、放射科医生和个人信用评估等。事实上,机器学习的预测能力已经应用到企业的实际业务中,为企业未来的发展指引方向。目前,所谓的人工智能就是增强型人工智能。它不能完全取代人类,只能增强人类的能力。例如,软件可以帮助医生诊断一些疾病,但机器的诊断分析只能提供参考,最终还是要由医生来选择治疗方案并进行治疗。从这个例子延伸出来,人们在制定策略和战略时,可以使用智能软件来辅助我们实现这些策略。人工智能不仅可以帮助企业提速、降本、增效,还可以帮助企业管理者制定更长期的战略,更完美的是,TeradataVantage就是为此而存在。TeradataVantage高级分析平台TeradataVantage高级分析平台在架构上可分为四层,从下到上分别是数据源、分析引擎、分析语言和分析工具。此前,Teradata收购了斯坦福大学的初创公司AsterData,创新性地将Map-Reduce和ANSISQL引擎同时集成,实现了上层分析引擎与底层存储设备对接,进行大数据分析和分析。计算。TeradataVantage的分析引擎层包括NewSQL引擎、机器学习引擎、图引擎、Spark引擎、TensorFlow引擎以及一系列自定义引擎。鲍黎明强调,TeradataVantage的机器学习引擎由广泛的分析功能组成。除了数据准备和非结构化数据分析功能外,还涵盖人工智能、统计、文本、情感判别等200多种分析引擎,方便科学家使用。执行描述性或预测性分析。图引擎支持关系分析和了解这些关系如何影响网络用户、产品、流程甚至任何网络实体之间的结果。其中,每个引擎都封装在一个Docker做的容器中,不断迭代。同时基于开源的OpenStack平台和商业分析引擎,开发者可以开发一些内部引擎和工具集。在分析语言方面,早期Teradata推出了高性能、高可靠的Teradata关系型数据库管理系统,采用标准的SQL查询语言,适用于处理复杂查询的数据仓库应用。随着对预测性和指导性高级分析的需求越来越大,SQL这种结构化查询语言已经不能满足需求。Teradata先后收录了NoSQL、R、Python、NewSQL、SAS等多种语言,结合顶级分析工具和广泛的商业智能和可视化工具,让企业分析师和数据科学家无需了解机器就可以使用机器学习能力学习算法非常好,为用户提供预测性和指导性的高级分析能力。TeradataVantage本地化最佳实践为了满足中国市场的本地化需求,Vantage平台支持数百万乃至数亿用户的高级分析需求。据介绍,Teradata在中国的很多银行客户都开发了相关的分析引擎,使数据科学家能够使用他们习惯的任何开源或商业语言和工具,充分利用不同的数据源,使用各种分析引擎结合不同的应用程序访问和共享位于分布式存储和对象存储中的各种格式的数据。包黎明透露,通过机器学习的高级分析能力,Teradata帮助银行客户将信用卡欺诈的诊断率提高50%,并将误报率降低80%-90%。银行客户可以使用机器学习和神经网络算法和引擎来预测用户流失率、流失原因和用户去向。通过分析信用卡交易的时间、地点、频率,快速识别可疑交易,判断欺诈行为,规避交易风险。,改善客户体验。除了银行客户,制造业、物流运输、电信等行业也在风险预测领域使用先进的分析能力,例如预测零件何时会发生故障。Teradata将这些高级分析能力打包推荐给客户,帮助企业快速提升业务效率。TeradataVantage的主要分析用例包括:1.功能预测。预测哪些客户会流失,哪些贷款会违约,以及客户定位、财务预测、营销组合建模、客户投诉预测、影响净推荐值的因素、风险建模、预测性维护等。2.客户细分。不同于传统的客户细分,Vantage的客户细分可以拥有多达数百或数千个属性,多维度归档分类,筛选出最具潜力的客户。详细用例包括市场细分、流失因素细分、在线购买放弃、中断过程的关键影响因素等。3.了解因果关系。就是通过机器学习引擎了解因果关系,制定最优的客户路径,避免客户流失。包括营销归因、投资回报率、客户流失、欺诈行为路径、实时优化等。4.情况。可以通过文本、语音和电子邮件收集数据,以了解客户对产品或服务是否满意。据悉,Teradata在中国开发了基于中文的自然语言分析,实现情感分析,为客户打分。5.社交网络。利用社交网络的相互关系了解潜在用户和犯罪团伙的情况,包括反馈/评论集群、知道谁喜欢我、欺诈网络、网络欺诈等领域。6.假设检验。通过变量分析、相关性、主成分分析、抽样等实现实验、影响测量、根本原因分析和流程优化。TeradataVantage的三个典型案例最后,鲍黎明列举了三个客户使用TeradataVantage平台实现高级分析的典型案例。制造:主动维护一家大型全球制造商的生产设备遍布全球。这些机器处于7×24小时连续工作的状态。为了检测组件故障并防止意外停机,该公司使用软件来监控多个设备传感器。监控和性能数据,通过日志分析、广义线性模型和各种分析引擎,将停机事件的传感器路径与稳定运行事件的传感器路径进行比较,隔离性能瓶颈的关键指标,预测即将出现问题的设备,并实现前瞻性维护、减少停机时间和节约成本。零售行业:多渠道整合对于大型零售商来说,销售渠道往往很多,但零售商很难明确判断哪个销售渠道的影响力更大,更难了解顾客对不同产品的不同态度在不同的渠道。这种互动行为,无法打通线上线下渠道联合销售,提升客户体验。为了解决这些问题,某大型零售商利用TeradataVantage进行多渠道整合,形成客户购买商品的完整路径,并不断测评新的渠道活动,确保客户在最短的时间内以最低的成本购买商品,跟踪顾客对商品的评价,不断提高顾客满意度指数。金融行业:多渠道监控如何减少账户关闭事件,是全球银行业关注的一个指标。过去,客户账户关闭和客户满意度模型需要不断的手动调整和干预。借助Vantage平台先进的分析能力,可以结合网银、呼叫中心、ATM机等多渠道数据进行自动化分析。向前分析时间点,找出20余种与账户关闭相关的行为,评估这些行为的风险,并进行干预,从而大大减少账户关闭的情况。总结:随着机器学习和大数据的不断发展,各种分析引擎、分析语言、分析工具层出不穷。TeradataVantage整合主流商业和开源分析工具,化繁为简,落地各行业,结合行业属性和需求,精选最流行的行业分析工具,不仅帮助企业管理数据,还提供优秀的分析能力并改善数据分析师和数据科学家的用户体验。【原创稿件,合作网站转载请注明原作者和出处为.com】