一、SIEM理念与发展趋势随着企业数字化转型的深入，网络安全越来越受到企业的重视。为了构建完整的安全防御系统，企业通常会引入防火墙（Firewall）、防病毒系统（Anti-VirusSystem，AVS）、入侵防御系统（IntrusionPreventionSystem，IPS）、入侵检测系统（IntrusionDetectionSystem）,IDS)),审计系统和许多其他安全产品。但这些安全产品往往各自为政，缺乏联动性，难以形成有价值的、全面的、系统的安全态势分析报告，也难以应对复杂多变的安全威胁。安全信息与事件管理（SIEM，SecurityInformationandEventManagement）正好可以满足这方面的需求。SIEM可以收集和存储来自各种网络和安全设备的日志和事件，并可以持续分析访问的数据，以进行持续的威胁检测和合规性检测，帮助提高企业威胁响应能力；此外，SIEM还可以整合收集到的安全日志和事件，提供系统全面的安全报告，让企业可以全面评估系统风险。一、SIEM简介Gartner将SIEM定义为2021年满足以下客户需求的解决方案：实时收集安全事件日志和遥测数据，用于威胁检测和合规性检测；实时和连续分析访问数据以检测攻击和其他感兴趣的活动；调查安全事件以确定其潜在的严重性和业务影响；报告上述活动；存储相关事件和日志。2、SIEM的发展趋势类似于自然界事物的发展规律。SIEM也有一个从简单到高级的发展过程。(1)早期日志管理系统对日志收集的需求由来已久。在计算机领域，日志一般用于记录计算机操作系统或应用程序的运行状态或外部请求事件。在SIEM出现之前，安全场景主要是通过一些日志管理工具，将各种网络设备的日志收集起来，统一存储起来，以便在发生异常事件时，事后进行日志审计。（2）SIM和SEM20世纪90年代末，日志分析的需求逐渐强烈，开始出现SIM（SecurityInformationManagement，安全信息管理）和SEM（SecurityEventManagement，安全事件管理）两种技术.在SIM和SEM发展初期，两者是分开的。普遍接受的理解是：SIM侧重于安全事件的历史分析和报告，包括取证分析；而SEM更注重事件的实时监控和应急处理，更强调事件归一化和关联分析。（3）SIEM随着企业在IT建设上的不断投入，企业网络设备和安全设备越来越多，网络环境也越来越复杂。同时，他们也越来越重视企业安全。随之而来的是更多的安全数据需要处理，希望能够从大量数据中提取威胁事件和安全情报，以满足安全防火或合规审计的需要。以往基于日志分析的单一模式不再适用，需要一种新型的工具来满足安全分析场景的需求。SIEM的出现正好符合这些需求。SIEM可以收集企业和组织中所有IT资源（包括网络、系统和应用）产生的安全信息（包括日志、告警等），进行统一的实时监控和历史分析，检测外部威胁和内部违规行为，行为监控、审计分析、调查取证、出具各类报告，实现IT资源合规管理的目标，同时提升企业和组织的安全运营、威胁管理、应急响应能力。(4)SIEMASASERVICE随着企业数字化转型的深入，企业往往需要具备更高级的安全分析能力。同时，SIEM也越来越复杂，对掌握整套SIEM系统的能力要求也越来越高。更高。ManagedSIEM的出现大大降低了本地部署的运维成本，提供了更多开箱即用的功能，一定程度上降低了SIEM的使用门槛，帮助企业构建安全能力。(5)SIEMASAUTILITY未来，SIEM可能作为网络设备的基本功能，作为内置工具存在。目前，越来越多的云厂商开始将SIEM解决方案嵌入到自己的云产品中，作为基础功能与云产品的基础能力打包销售。3、SIEM如何保护企业组织的安全？识别未知威胁：SIEM可以提供对日志或安全事件的实时数据监控能力，结合人工智能和威胁情报能力，帮助企业发现潜在的安全风险。威胁可追溯源头：因为安全事件的发生往往有很长的连续周期（比如数据库拖拽的出现就是数据库拖拽行为，可能在更早的某个时间隐藏了跳板密码的泄露),SIEM提供历史数据分析能力，可以协助企业寻找安全事件线索，还原事件现场数月甚至更长时间。支持自定义审计：通过SIEM提供的开放规则引擎，企业可以根据自己的业务场景，配置一些持续的审计监控规则，实时监控网络安全。及时的威胁响应：当威胁事件发生时，监控规则会通过告警等形式通知相关人员检测到异常情况，及时响应和处理，形成问题闭环。二、数字时代企业安全面临的全新挑战1、企业数字化带来新的安全挑战传统的网络安全架构概念是基于边界的安全架构。企业在构建网络安全体系时，首先要做的就是寻找安全边界。将网络划分为外网、内网等不同区域，然后在边界部署防火墙、入侵检测、WAF等产品。然而，这种网络安全架构是基于内部网络比外部网络更安全的假设。它在某种程度上预设了对内网人员、设备和系统的信任，而忽视了内网安全措施的加强。不法分子一旦突破企业边界安全防护进入内网，如同进入无人区，将带来严重后果。此外，内部人员100%安全的假设也是站不住脚的。从《内部威胁成本全球报告》可以看出，从2018年到2020年，无论是内部威胁的数量还是成本都大幅增加。此外，随着云计算、大数据、物联网、移动办公等新技术的深度融合，服务，网络安全边界逐渐变得更加模糊，传统的边界安全保护理念面临巨大挑战。在此背景下，零信任架构（ZTA）应运而生。它打破了传统认证即信任边界保护、静态访问控制、以网络为中心的保护思想，建立了一套以身份为中心、持续认证、动态访问控制、审计、监控为链条的链条，最大限度地减少真实性。-时间验证。授权是核心，基于多维信任算法，认证到达动态安全架构的末端。我们可以看到，在零信任策略下，无边界持续监控的需求也对SIEM提出了新的挑战。2、数字化对工程师的挑战随着DevOps的逐渐普及，工程师的开发职责也逐渐发生变化，开发、测试、运维逐渐成为趋势。但是在DevOps模式下，安全产品和安全能力其实是外在的。安全防护只是整个软件生命周期中安全团队的职责，只会在开发的最后阶段介入。然而，在DevOps有效推动快速迭代的今天，过时的安全措施可能会拖累整个开发流程，这也催生了“DevSecOps”的概念。DevSecOps认为安全防护是整个IT团队的共同责任，需要贯穿于整个生命周期的每一个环节。DevSecOps更注重流程安全。这种安全至上的理念，可以将安全嵌入到开发、测试、部署的各个环节，从源头上屏蔽一些风险。DevSecOps分为以下几个阶段，每个阶段都有自己的安全要求。左侧的“Dev段”侧重于软件开发过程的安全性；右侧的“Ops段”侧重于软件在运行时的安全性。具体阶段如下：Plan+Create阶段，从宏观上看，可以认为是软件安全设计和开发前的准备，更注重安全规则的制定、安全需求分析、软件开发过程中的安全考虑设计;Verify+Preproduction阶段，即是开发阶段的安全保障，可以是AST、Fuzz、SCA等；Predict+Respond阶段可以理解为软件的在线安全监控，比如对安全事件的监控和响应；Configure+Detect阶段可以理解为程序的应用Runtime安全，比如容器和基础设施安全、RASP、WAF等。我们可以看到“Ops”环节涉及的威胁检测、应急响应、威胁预测等”比较符合SIEM的特点。为了满足DevSecOps中安全集成和快速迭代的需求，还提出了轻量级、便捷的SIEM。要求。3.SIEM的新挑战从以上趋势可以看出，零信任（从不信任，始终验证）和DevSecOps的理念对SIEM提出了新的发展要求。新一代SIEM需要满足零信任下无边界持续动态监控的需求，需要监控更广范围的数据，提供更强的关联分析能力。为了提高DevSecOps的效率，需要将其做的更轻，并作为基础工具与DevSecOps集成，提供更多开箱即用的功能。同时，与可观察平台的融合也是一种发展趋势。4.云端集成SIEM平台为了应对这些挑战，我们认为云端集成SIEM平台需要具备以下特点：（1）平台能力：提供统一的数据采集，包括日志、指标、轨迹，和事件，存储容量。在统一存储的基础上，提供统一的数据处理和分析，具备机器学习分析能力。基于可视化的安全态势、告警检测和事件管理能力。（2）业务场景：基于统一平台上层业务，支撑上层业务端（开发运营、监控、安全、用户运营）。（3）生态对接：可对接上下游系统的安全生态支撑。三、云SIEM核心技术与行业解决方案1.SIEM核心技术与挑战实施一个SIEM系统，需要经历四个阶段：采集->检测->调查->响应。四个阶段面临的挑战如下：获取：如何方便地访问数据以及如何以低成本存储数据。检测：如何通过各种数据的关联分析来捕捉未知威胁。调查：如何审计安全事件并还原威胁进程。响应：通知用户安全事件的能力。2.常用行业解决方案Splunk的理念是基于“Data-to-Everything”平台，提供集成SIEM、UEBA、SOAR的一整套解决方案。Elastic基于开源，通过结合Logstash、Elasticsearch和Kibana，建立了基础的数据收集、分析和可视化能力。其中，Logstash是一个日志聚合器，可以从几乎任何数据源收集和处理数据；Elasticsearch是一个解析大量数据的存储引擎；Kibana是一个用于可视化处理和问题分析的可视化层。Elastic7.14发布了第一个免费开放的LimitlessXDR，它在一个平台上提供了集成的SIEM和EndpointSecurity功能。Exabeam的SIEM解决方案可作为SaaS(ExabeamFusionSIEM)或用于混合、联合部署。它包括Exabeam数据湖、高级分析、威胁搜寻、实体分析、案例管理和事件响应。基于定制化部署的模块化架构，用户可灵活采购。Exabeam的机器学习(ML)驱动的用户和实体行为检测为用户提供风险评分和自动上下文丰富功能。从上述行业解决方案可以看出，SIEM厂商普遍遵循平台化、SaaS化的发展思路。3.SIEM核心特性及实施方案基于上述SIEM平台化的思路，我们可以看到SIEM系统的一些核心特性（左图），右图是我们的最佳实践实施方案。4.构建CloudSIEM解决方案的最佳实践接下来，我们将重点介绍构建CloudSIEM解决方案的一些最佳实践，主要从以下四个方面进行。广泛的数据访问：数据收集（特别是云场景：跨账户、多云）、处理和存储能力。统一查询分析能力：交互式查询分析语法、ML算法支持、可视化分析能力。威胁检测与响应：使用内置的告警规则和自定义威胁检测规则，将发现的威胁事件通知用户，并启用事件管理。安全生态整合：如何与第三方平台整合。1.海量数据接入构建CloudSIEM解决方案，首先要解决的问题是海量数据的统一接入。但是，目前业界涉及的接入解决方案较多。比如日志可以用logstash、FluentD等，指标可以用Prometheus。这也造成了数据访问管理的诸多痛点：运维成本高：完整的数据访问需要多个软件的协同，这也带来了极高的运维成本。学习成本高：每个软件都有自己的插件和配置规则，学习成本非常高。我们的解决方案是建立标准化的数据接入方式，支持SDK和Agent采集方式，方便的将各类数据（logs,metrics,traces,metas）采集到一个统一的存储系统中。除了支持服务器和应用的日志收集，对开源软件和标准协议也有很好的支持。最重要的是它提供了阿里云云原生场景的一键采集解决方案，比如日志RDS审计日志，K8s审计日志等；并与阿里云资源目录集成，支持跨账号采集能力（因为很多企业可能有多个账号，每个账号对应一个部门的业务）。CloudSIEM场景中，往往需要采集多个数据源的数据（格式可能比较杂乱），也有长期海量的数据分析需求。我们的做法是提供一套低代码、可扩展的数据处理Service，通过SchemaOnWrite的方式，将数据提前规范化，为后续的分析处理提供极大的便利。数据处理服务可以对结构化或非结构化日志进行实时ETL处理。该功能目前包括200+算子，广泛应用于数据正则化、数据聚合、富集、分发等场景。对于安全场景，数据处理对安全运营商也有很好的支持。例如，数据处理提供的数据脱敏算子，可以有效减少敏感数据在处理、传输、使用过程中的暴露，降低敏感数据泄露的风险，保护用户权益。常见的脱敏场景包括对手机号、银行卡号、邮箱、IP、AK、身份证号URL、订单号、字符串等敏感信息进行脱敏。2.统一的数据查询和分析能力CloudSIEM系统的一个重要能力是对收集到的数据进行实时的合规监控和分析，支持历史数据的合规审计，审计外部威胁和内部违规分析。然而，安全威胁的方法往往是一个循序渐进的过程，可能需要数月甚至更长的时间才能真正暴露出来；此外，安全威胁可能需要对多个数据进行联合分析才能发现。为了应对这些挑战，我们将日志、指标、Meta等数据连接到一个统一的存储中。在此之上，我们构建了统一的查询分析引擎，支持查询分析、可视化、监控告警、AI等上层能力。在统一存储的基础上，我们构建了基于标准SQL、扩展SQL功能、集成PromQL的统一查询分析引擎，使得不同数据之间的联合查询成为可能。SLSSQL=Search+SQL92(Agg,WIndow,GroupBy...)+PromQL+...下面是一个复杂分析的例子：我们可以通过标准的SQL语句来分析日志。指标数据也可以通过PromQL扩展的SQL函数进行分析。指标数据的分析结果也可以通过嵌套查询重新聚合。此外，还可以利用机器学习功能赋予AI查询和分析能力。虽然不同阶段的数据产生于不同的系统，格式也不同，但由于它们的存储和分析是一致的，我们可以轻松实现统一的安全态势和安全事件监控。同时提供大量基于AI的检测、预测、聚类、根因分析等算法，以SQL/DSL函数的形式提供给用户，可用于人工分析和自动化检查报警。3.威胁检测与响应通过上述统一的数据接入和统一的查询分析能力，我们可以实现对安全威胁的基本检测能力。但是要构建一个完整的监控系统，下一步就是要解决如何持续监控的问题。基于这个问题，我们开发了一站式智能运维告警系统。提供日志、时间序列等各种数据的告警监控，也可以接受三方告警，对告警进行降噪、事件管理、通知管理。我们提供了数百种以上的内置警报规则，开箱即用并不断增加。这些规则库有涵盖CIS（涵盖账户安全、数据库安全等）和安全场景的最佳实践。用户只需开启相应的规则，即可享受全天候的安全保障。当报警规则检测到异常时，需要第一时间将威胁事件通知给相应的开发者。我们接入了丰富的通知渠道，方便全方位了解威胁事件。多渠道：支持短信、语音、邮件、钉钉、微信、飞书、Slack等通知渠道，也支持通过自定义Webhook进行扩展。同一个告警可以同时通过多个通道发送，每个通道使用不同的通知内容。比如通过语音、钉钉的报警通知，既能保证到达强度，又能保证通知内容的丰富性。动态通知：可以根据告警属性动态发送通知。例如：测试环境的告警通过短信通知张三，并且只在上班时间通知；而生产环境的告警，都是电话通知张三和李四，无论什么时候都要通知。通知升级：长时间未解决的告警需要升级。例如，触发告警后，员工收到短信通知，但问题长时间未解决，导致告警无法恢复。这时需要升级通知，语音通知员工领导。安全事件发生后，如果不及时处理或不慎遗漏，将造成更大的安全风险扩大。因此，有必要建立完善的反馈机制，形成处理安全问题的闭环。基于这个问题，我们提供了安全事件管理中心，方便用户全局查看安全事件并采取相应的管理措施。开发或安全人员收到安全报警事件通知后，可登录安全事件管理中心进行事件确认、分配处理人员、记录处理动作等操作。最后，我们提供了安全态势仪表盘，帮助用户了解全局的安全事件和安全态势，方便查看告警链接和排查问题。此外，报告可以自由扩展。4.安全生态融合现代企业上云后，有时会将业务部署在多个云厂商上，因此安全场景可能会涉及多个云厂商的数据同步。我们提供了与第三方SIEM解决方案（如Splunk）对接的方式，确保阿里云上的所有法规、审计等相关日志都可以导入到用户的安全运营中心（SOC）中。五、总结我们大致介绍了SIEM的背景趋势、数字时代的新挑战，并介绍了在云端构建SIEM的最佳实践。此外，我们可以看到，云端SIEM也在向着平台化、SaaS化的方向发展，不断优化以适应新的业务挑战。【本文为专栏作者《阿里巴巴官方技术》原创稿件，转载请联系原作者】点此查看作者更多好文
