大数据作为未来科技的基石,已经成为国家基础战略资源。挖掘数据的无限潜力,将算力推向极致,是整个社会面临的挑战和困难。ApacheFlink,被业界公认为最好的流计算引擎,并不局限于流处理,而是一套具有流、批、机器学习等多种计算功能的大数据引擎,以其高吞吐量和低延迟其出色的实时计算能力和亚秒级快速响应支撑海量数据,帮助企业和开发者提升数据计算能力,成为阿里、腾讯、滴滴、美团、字节跳动等国内外知名企业、Netflix、Lyft等构建实时计算平台的首选。需要解决哪些问题才能更好的释放Flink强大的计算能力?如何选择技术?如何根据业务特点进行相应的改进?实践过程中需要避免哪些陷阱?11月28-30日,FlinkForwardAsia上线!由来自阿里巴巴和Ververica的19位Flink技术专家打造的四门培训课程,针对不同阶段、不同学习需求提供技术支持,为一线开发者赋能。适合初学者和深度学习课程。培训名额所剩无几,预约已开放。详情可加微信(ID:candy1764)咨询。从基本概念的准确理解到动手实操的精准熟练,四门线下实战课程助你从容应对生产环境中的挑战。技术挑战。上周,不要错过!参加培训课程你能收获什么?您将准确理解分布式数据流、事件时间和状态等核心概念,了解它们如何反映在API中,并了解这些概念如何组合在一起以解决实际问题。可以全面了解Flink应用部署运维的实战介绍,Flink运维涉及的核心概念,部署、升级、监控Flink应用的主要工具。你会知道如何更好地挖掘用SQL编写Flink作业的潜力,并现场研究流式SQL的不同案例,包括连接流式数据、维表关联、窗口聚合、维护物化视图以及使用MATCHRECOGNIZE子句进行模式匹配等等。您将能够提前了解流计算作业从早期PoC阶段慢慢过渡到生产阶段最常见的挑战,并为您提供一套超实用的故障排除工具,还将介绍监控、水印、序列化、statebackends等领域的最佳实践和技术,帮助你从Flink小白成长为Flink技术专家。重要提示:本次培训项目包括实践和教学四节课,从11月29日下午到11月30日全天同步进行(共计1.5天),旨在帮助您提高流处理编程技能和学习ApacheFlink技能。中级一:ApacheFlink开发人员培训课程简介课程时长:1.5天课程目标:本课程是面向想要学习构建流式应用程序的Java和Scala开发人员的ApacheFlink实践介绍。培训将侧重于分布式数据流、事件时间和状态等核心概念。这些练习将使您有机会了解这些概念在API中是如何表示的,以及它们如何组合在一起以解决实际问题。Tips:本课程纯英文授课,有中国技术专家支持和解答问题。讲师介绍:讲师:David:负责Ververica培训,DataScienceRetreat的老师和导师,开设大数据工程课程,带领团队构建分析管道、推荐系统和可视化产品。供稿:秦军:Ververica的解决方案架构师,博士,因斯布鲁克大学,专注于分布式计算和系统架构。戴自立(Gordon):ApacheFlinkPMC,Ververica软件工程师,主要负责Flink系统开发。宋心彤(五藏):阿里巴巴高级开发工程师,主要负责ApacheFlink和阿里云实时计算资源调度管理机制的研发。课程目录:流计算简介及ApacheFlinkDataStreamAPI基础Flink开发准备(含习题)StatefulStreamProcessing(含习题)Time,TimersandProcessFunction(含习题)ConnectingMultipleStreams(含习题)Test(含习题)包括练习)注意:不需要ApacheFlink的知识。中级2:ApacheFlink运维入门培训课程时长:1.5天课程目标:本课程是对ApacheFlink应用部署运维的实战介绍。目标受众包括负责部署Flink应用程序和维护Flink集群的开发人员和运维人员。演示将重点介绍运行Flink所涉及的核心概念,以及部署、升级和监控Flink应用程序的主要工具。讲师介绍:讲师:许帅(辅机):阿里巴巴实时计算平台资深专家,目前负责FlinkCEP引擎和部分运行时模块。高云(Yunqian):阿里巴巴技术专家,主要从事FlinkRuntime层的设计和开发。朱朱(长庚):阿里巴巴技术专家,主要负责阿里云实时计算的调度和容错。协助:沙胜阳(ChengYang):阿里巴巴技术专家,目前专注于K8s生态中Flink的开发。赵凯兴(春耕):阿里巴巴技术专家,对Flink和阿里云实时计算产品的技术特点、应用场景、应用过程中可能遇到的问题有丰富的经验和理解。课程目录:ApacheFlink数据中心流计算和Flink分布式架构介绍容器化部署介绍(含实操)状态后端和容错(含实操)升级和状态迁移(含实操)指标(含实操)容量规划注意事项:不需要ApacheFlink的先验知识。中级3:SQL开发人员培训简介课程时长:1.5天课程目标:您将学习如何充分利用SQL编写ApacheFlink作业。我们将了解流式SQL的不同用例,包括连接流数据、维表连接、窗口聚合、维护物化视图,以及使用MATCHRECOGNIZE子句进行模式匹配(SQL2016中的新标准)。讲师介绍:讲师:吴冲(云邪):ApacheFlinkPMC,阿里巴巴技术专家,Flink/BlinkSQL模块核心开发者之一。目前专注于分布式处理和实时计算。李锐:ApacheHivePMC,阿里巴巴技术专家,主要参与Hive、HDFS、Spark等开源项目。程和群(军师):阿里巴巴技术专家,核心参与FlinkTableAPI相关研发。陈玉钊(Yuzhao):ApacheCalcitePMC,阿里巴巴高级工程师,参与Flink相关研发。协助:张冉,主要协助阿里巴巴集团内外部用户使用实时计算产品疑难杂症,致力于优化实时计算产品。课程目录:Flink上的SQL介绍使用SQL查询动态表加入动态表模式匹配和match_recognition生态系统&编写外部表描述:不需要ApacheFlink的先验知识,但需要基本的SQL知识。高级:ApacheFlink调优和故障排除课程简介课程时长:1.5天课程目标:介绍将流式计算作业从早期PoC阶段缓慢过渡到生产阶段的最常见挑战,并帮助一起消除它。提供一组有用的故障排除工具,并描述监控、水印、序列化、有状态后端等领域的最佳实践和技巧。一个用新学到的知识解决一些异常的Flink作业表现出来的问题的机会。确定作业没有进展或吞吐量未达到预期或作业延迟的常见原因。讲师介绍:讲师:唐云(茶干):阿里巴巴高级研发工程师,长期从事Flinkstate&Checkpoint相关研发,目前积极参与FlinkonK8s相关软件输出开发和社区开发和推广。邱从贤(山智):阿里巴巴高级研发工程师,专注于Flink核心引擎开发,主要从事FlinkState&Checkpoint相关研发工作。周凯波(包牛):阿里巴巴技术专家,专注于基于Flink的一站式计算平台建设。助攻:何建超(迟楠):阿里巴巴技术专家,专注于基于Flink的新一代实时计算平台建设。方舒:参与了阿里巴巴实时计算产品服务,为集团内外部用户使用实时计算提供技术支持和产品方案优化。课程目录:TimeandWatermarkStateProcessingandStateBackendFlink容错机制Checkpoint和Savepoint原文链接本文为云栖社区原创内容,未经许可不得转载。
