当前位置: 首页 > 科技观察

如何使用RDA解决数据问题并加速AIOps实现

时间:2023-03-20 17:51:02 科技观察

【.com快译】什么是机器人数据自动化集成和数据准备活动,涉及处理机器数据以进行分析和人工智能/机器学习应用。RDA不仅仅是一个框架,还包含了一套实现数据自动化的技术和产品能力。RDA使企业能够大规模操作机器数据,推动人工智能。RDA在企业领域具有广泛的适用性。首先,CloudFabrix采用RDA框架并将其应用于解决AIOps问题——帮助简化和加速AIOps实施,并使其更加开放和可扩展。RDA使用数据机器人自动执行重复的数据集成、清理、验证、整形、丰富和转换活动,这些机器人被调用以在“低代码”数据工作流或管道中连续工作。RDA有助于轻松地将数据移入和移出AIOps系统,从而简化和加速AIOps实施,否则这些实施将依赖于大量的手动数据集成和专业服务活动。为什么需要RDAAIOps需要处理从各种混合IT数据源获取的大量数据,这些数据源分布在本地、云和边缘环境中。这些数据有多种格式和交付模式。此外,此类数据处理的结果还需要与IT生态系统中的其他工具进行交换,例如:ITSM/闭环自动化/协作工具和BI/报告工具。所有这些都需要以高效、可重用和可扩展的方式集成、摄取、准备、验证、清理、转换、整合、分析和将数据移入和移出AIOps系统。这些基本任务在AIOps实施中经常被忽视,并导致AIOps项目的严重延迟和成本增加。挑战让我们来看看实施AIOps项目时数据准备和数据集成活动中的一些主要挑战。?不同的数据格式(文本/二进制/json/XML/CSV)、数据传输模式(流、批处理、批处理、通知)、编程接口(API/Webhooks/查询/CLI)?复杂的数据准备活动,包括完整性检查、清理、转换和形成数据(聚合/过滤/排序)?原始数据通常缺乏应用程序或服务上下文,需要从外部系统引入以更新实时数据。?实施数据工作流需要专门的编程/数据科学技能?源或目标系统的变化需要重写/更新连接器AIOps中数据处理的传统方法在传统方法中,AIOps供应商提供一组开箱即用的集成,连接AIOps解决方案对于数据源,数据处理的方法和结果如下:?数据采集、处理和集成的黑盒方法。?用例和场景仅限于平台支持的内容。?集成大多是预定义的/硬编码的以限制重用。?需要专业/编程技能(Javascript、Python等)的复杂脚本模块或指令。?难以为间歇性数据处理引入外部集成(例如充实)。?难以以编程方式访问补充功能的数据(例如:脚本、报告、仪表板、自动化等的数据访问)。这些是通过增加延迟和成本(手动数据准备/处理活动)有效处理AIOps的障碍。短期需求:AIOps的机器人数据自动化机器人数据自动化(RDA)是AIOps2.0的关键技术。RDA的自动化DataOps类似于用于自动化业务流程的RPA。RDA是AIOps平台不可或缺的一部分,提供增强的数据准备和集成能力。RDA既是数据自动化框架,也是加速和简化AIOps实施中所有数据处理的工具箱。亮点?使用Databots实施低代码数据管道。?本机AI/ML机器人。?CFXQL—统一查询语言。?内联数据映射。?数据完整性检查。?数据屏蔽、编辑和加密。?数据集成:聚合/过滤/排序。?数据提取/度量采集。?综合数据。优势?简化并加速AIOps用例的实施。?减少与数据准备和集成相关的时间/精力/成本。?对于DevOps/ProdOps人员(不需要数据科学家技能)。用例和场景?日志集群:从云端和本地获取应用程序日志,运行ML模型以集群日志,将结果推送到Kibana/CFX仪表板。?CMDBSync:从CFX获取最新资产清单并将其推送至CMDB。?从合作伙伴/子公司ITSM到客户ITSM的标签电子绑定(例如:BMC事件到ServiceNow)。?事件NLP分类:从ServiceNow获取标签,OpenAI(GPT-3)进行NLP分类,并在ServiceNow中丰富标签。?异常检测:从Prometheus(或任何监控工具)获取节点的历史CPU使用率(每小时)。应用程序回归在Slack上发送一条消息,其中包含异常列表作为附件。?标记聚类:从ServiceNow获取最近24小时的事件,将聚类应用于标记,并将结果推送到新的数据集,以便在CFX仪表板中可视化。?变更检测:获取AWSEC2虚拟机的基线清单并与当前状态进行比较以突出计划外的变更。原标题:TamingtheDataProblemandAcceleratingAIOpsImplementationsWithRDA,作者:TejoPrayaga