安全数据收集、处理和分析在过去五年中呈爆炸式增长。事实上，ESG最近一项安全分析研究发现，28%的组织声称他们收集、处理和分析的安全数据比两年前多得多，而另外49%的组织正在收集、处理和分析更多数据。什么类型的数据？包括您的姓名、网络元数据、端点活动数据、威胁情报、DNS/DHCP、业务应用程序数据等。另外，我们不要忘记来自IaaS、PaaS和SaaS的安全数据的冲击。大规模安全数据增长的后果安全数据的大规模增长带来了许多后果，包括：1.需要更好的安全数据建模和管理。根据SAS软件，大约80%的时间花在数据分析、数据建模和管理上。随着网络安全数据量的增长，我注意到了这方面的趋势。组织花费更多时间来确定要收集哪些数据、需要什么数据格式、在何处以及如何路由数据、重复数据删除、数据压缩、数据加密、数据存储等。基于对数据管理日益增长的需求，ESG的安全运营和分析平台架构(SOAPA)由一个通用的分布式数据管理层提供支持，旨在为所有安全数据提供这些类型的数据管理服务。由于大多数组织都在逐步采用SOAPA，因此应尽早考虑保护分析数据模型。简单地说，想想你想要完成什么，然后回到想要的数据源。2.寻求数据综合、丰富和情境化。所有安全数据元素都可以相互关联，但这说起来容易做起来难。过去，许多组织依靠安全人员和电子表格来关联不同分析工具生成的安全事件和警报。当网络流量分析(NTA)工具检测到可疑流量时，分析人员会获取源IP地址，调查DHCP服务器的IP租用历史以找出涉及的设备，然后挖掘该设备发送的历史日志文件。考虑到这些手动任务的低效性，我们已经看到点对点分析工具集成的增加，以及对架构集成（如SOAPA）的更大需求。行为分析，例如用户和实体行为分析(UEBA)，通过一系列嵌套机器学习(ML)算法注入多个同时发生的安全数据事件，显示出数据合成的一些前景。是的，行为分析是一项正在进行的工作，但我对最近看到的创新和进步感到鼓舞。3、高性能要求。大型组织正在监控数以万计的系统，每秒生成超过20,000个事件，每天收集数TB的数据。这种数据量需要高效的数据管道和合适的网络、服务器和存储基础设施来实时移动、处理和分析这些数据。为了满足实时数据管道的需求，我看到Kafka消息总线被广泛使用。不要忘记，我们需要足够的能力来查询TB到PB的历史安全数据，以进行事件响应和追溯调查。这种需求导致基于开源（例如ELK堆栈、Hadoop等）和商业产品的安全数据湖激增。4.人工智能。好消息是：所有这些数据为数据科学家提供了充足的机会来创建和测试数据模型、开发ML算法并高精度地调整它们。坏消息是，我们才刚刚开始合并数据科学家和安全专业知识，以开发用于安全分析的AI。进步的CISO具有现实的态度。他们希望AI/ML可以通过提供更多上下文证据、为风险评分添加上下文等方式来提高个人安全警报的保真度。换句话说，AI/ML充当智能防御层，而不是独立的无所不知的安全分析神.5、基于云计算的安全分析。毫无疑问，许多组织都在质疑将大量资源仅仅用于收集、处理和存储TB甚至PB级安全数据作为满足现代安全数据分析需求的先决条件是否明智。使用海量、可扩展的基于云的资源不是更容易吗？根据我对市场的观察，答案是肯定的。IBM和Splunk报告了基于云的SIEM的强劲增长。SumoLogic声称拥有超过2,000名客户，而谷歌(ChronicleBackstory)和微软(AzureSentinel)是基于云的安全分析领域的新手。期待亚马逊也加入这一行列。随着安全数据的持续增长，安全分析向云的“提升和转移”势头只会越来越大。著名科技作家JeffreyMoore曾说过：“如果没有大数据分析，公司将变得又盲又聋，就像高速公路上的鹿一样在网络上漫游。”当摩尔在谈论早期的网络时，这句话同样适用于安全分析。是的，组织可以通过强大的安全分析大大提高他们降低风险、检测/响应威胁和自动化安全操作的能力。然而，要实现这些结果，CISO必须从一开始就充分规划和致力于安全数据建模、管道和管理。
