当前位置: 首页 > Web前端 > JavaScript

BI系统中任务调度详解

时间:2023-03-27 01:03:52 JavaScript

任务调度是一个通用的计算机概念,可以简单理解为计算机按照一定的时间频率自动执行一个流程任务。任务调度是操作系统的重要组成部分。Windows系统中的定时任务和Linux中的Crontab都是常用的系统级调度器,广泛应用于定时执行程序的各种场景。在传统商业智能BI领域,系统调度器常被用作ETL作业的调度器。作业任务将以T+1或更高的时间频率进行调度和执行。随着商业智能BI技术的发展,BI工具的调度功能也有了长足的进步。特别是随着市场对大数据和实时数据的需求,处理能力更强、多线程运行、准实时调度等场景越来越普遍。具体到商业智能BI工具的调度功能,目前可以归纳为两大类:针对数据抽取的任务调度通知,针对消息的任务调度1.针对数据抽取的任务调度商业智能工具的一个主要应用场景是打破数据孤岛。将分布在不同系统中的异构数据进行整合,提取到数据仓库中,形成分析模型,为可视化分析提供数据支持。对于数据量大的历史数据的分析,基本都是采用时序调度机制进行抽取。从数据源到数据仓库,可以配置增量更新或全量更新。fullupdate的一般机制是先TruncateTable,再进行Insert操作。增量更新是基于主键列或时间戳,只更新满足条件的数据。无论哪种方式,都是通过设置不同时间频率的定时调度任务来执行的。任务的频率也与上述两种更新方式密切相关。对于实时性要求不高的数据,可以通过设置T+1进行全量更新。对于频率比较高的数据,可以设置小时、分钟甚至秒的频率来定时增量更新。具体的调度频率要根据数据量、服务器配置、数据源系统的压力综合考虑。以Wyn为例,数据访问方式既支持直连模型,也支持抽取模型。对于提取模型,可以设置预定的运行时间表。自动重新加载计划会在设定的时间自动刷新模型中的数据。用户可以根据不同的业务需求制定不同的执行计划,以不同的频率重新加载表中的缓存数据。如果计划执行失败,将向填写的邮箱发送邮件通知,成功则无提示。创建自动定时操作计划。设置后,运行计划会定时自动刷新数据。商业智能BI工具还将考虑它们在任务规划设置中的可重用性。提供通过模板创建作业计划的功能。运行计划可以手动或自动执行。作业计划的调度和执行是数据提取成功的重要技术保障。2.通知和消息的任务调度在商业智能的任务调度场景中,不仅需要将数据提取到数据仓库集中存储。对于报表、仪表盘等分析结果,也需要支持定时推送功能。并不是每个报表数据的查看者都必须直接登录系统才能查看数据。例如,当您出差在外或忘记时,您可以通过定时推送功能将分析结果主动呈现给数据使用者。在企业实践中,邮件推送是最常用的方式之一。以Wyn为例,在任务计划模板中,可以使用邮件推送功能。发送对象支持邮件和邮件组。在运行报表计划时,不仅支持将报表以邮件附件或链接的形式发送到目标邮箱,还支持以邮件文本的形式发送报表,更方便用户查看。将报告显示为电子邮件文本的关键是在设置运行计划时将导出格式设置为“HTML”或“图像”。然后,当发送方式为电子邮件通知时,您可以在“发送类型”中选择“在电子邮件文本中显示报告”。综上所述,任务调度作为商业智能工具的普遍需求,得到了广泛的应用,为数据抽取提供了有效的支持。随着软件开发技术的发展和市场需求的变化,实时数据要求更高的分析场景会越来越多。但是,总会有分析大量历史数据的场景。因此可以预见,未来基于任务调度的抽取模型与基于流式的实时推送模型、直连数据源直连模型将并存,共同为企业提供重要的数据分析。技术支援。