本文探讨了网络安全中的大数据。相反，探索绕过使用大数据的保护系统有多容易；或者换句话说，如何欺骗高级威胁检测系统。一些营销人员声称任何可疑数据都无法通过检测系统。大数据分析系统可以成为检测可疑活动（如SIEM和XDR）的主要工具之一。大中型企业通常使用此类平台。他们拥有庞大的网络和云计算基础设施，每小时发生数百万次攻击事件。自然，没有办法手动分析它们。它是通过大量使用技术手段进行的。值得注意的是，在大数据和网络安全领域，专家的可用性是必要的组成部分。这样的系统会做什么？它们允许识别大量结构化和非结构化数据中未经授权活动的迹象。考虑到在一个平均有10,000个端点的网络中，每天传输大约25TB的数据，扫描所有这些数据的任务变得非常困难。但是，有几种算法可以提供帮助。威胁检测平台（尤其是XDR）的基本质量标准是异常检测的准确性。通常，XDR解决方案包括负责收集和处理事件的SIEM平台、检测和响应异常所需的EDR模块，以及收集有关用户操作和/或端点、服务器和网络设备的大量数据的UEBA系统，然后使用机器学习算法构建行为模式并尝试识别异常。这种异常最简单的例子是，例如，在半夜，服务器突然开始主动与远程主机通信，这在以前的日志中是从未见过的。这种情况偶尔会发生，但并不经常发生，但事实看起来很可疑。再举个例子：突然之间，每隔三四天，分配给一个员工的办公设备就会有几十兆的数据流向某处，从门禁系统的信息来看，这可能有问题。上面提供的示例通常非常明显。还有一些不太常见的事件，其中连接根本不明显，但机器可以看到一切。机器能看到一切吗？在弗兰克·赫伯特著名的科幻小说《沙丘》中，沙虫会摧毁任何能发出有节奏声音的东西。无论是人还是机器。然而，沙漠居民已经学会了使用模仿沙漠自然噪音的奇特不规则步态来欺骗机警的沙虫。为了提高可靠性，他们使用了特殊的分散注意力的装置，当这些装置被激活时，会发出响亮的有节奏的敲击声。沙虫蜂拥而至，让人们有时间到达他们需要去的地方。这些类比并非巧合。事实上，想要绕过大数据分析系统的网络犯罪分子将不得不花费大量的时间和精力。这是一个好消息。Mata可悲的是，任何安全系统都存在弱点。上述安全系统的基础是知识库，它是有关潜在威胁和有关受保护资源的结构和功能的信息的组合。这个知识库有助于确定什么是正常的事件过程，什么是异常的。大数据分析系统可以以多种不同的方式工作。例如，可以对Hadoop进行编程以检测任何进入或离开网络的事物。通过这种方式，可以识别受感染的PC或服务器与受网络罪犯控制的主机之间的可疑通信。还可以配置系统日志的监控。预警平台可以从受保护的基础设施内部收集和积累数据，确定什么是正常行为，从外部收集有关潜在威胁和风险的数据，并使用大数据分析来确定是否在其受保护范围之外观察到类似行为。事物。黑客如何绕过保护网络攻击者自然知道此类系统的工作原理。他们能做什么？首先，进行针对性攻击的运营商将进行侦察。此步骤可能需要很长时间。侦察的对象不仅是目标基础设施的硬件系统和软件，还包括其运营商。员工分享的关于自己的信息越多，就越容易对他或他的同事发起网络钓鱼攻击。我们都知道，很多成功的攻击都是从网络钓鱼开始的。网络攻击者的下一个任务是尽量减少他们对安全系统的可见性。这里有几个选项。网络罪犯可能会使用合法的开源工具（例如PowerShell）和目标基础设施中已有的管理工具在受感染的网络中移动。此外，他们可以使用无文件恶意软件破坏系统工具，如果未被发现，网络攻击者能够在受感染的网络中移动而不被注意。然而，如果他们过于活跃和规律，检测系统就会做出反应，这意味着黑客将不得不尽可能缓慢地移动，并且不定期移动。例如，如果目标基础设施中只有一两台机器每周甚至每月扫描一次，安全系统几乎不可能检测到任何东西。如果网络攻击者需要的数据不是由一个受感染的帐户收集的，而是由十几个帐户收集的，并且如果该数据不是在一个远程服务器上发送，而是发送给多个远程服务器，那么检测系统所针对的威胁模型可能是错误的.另一个糟糕的场景是：一名员工将一些文件复制到他的闪存驱动器中。离开大楼后，他把口袋里的东西扔进了垃圾桶，其中包括一个闪存驱动器。数据丢失防护(DLP)系统可能并不总是能够抵御内部威胁，尤其是当专业人员主动发起攻击时。另一个值得注意的方面是在少量典型场景上训练的开箱即用的检测系统。他们需要一些时间才能从其他系统（威胁源）获得足够的关于潜在威胁的信息，并使它们适应他们的模型。如果网络攻击者设法想出一个不太典型的攻击场景，他们就有机会在安全系统检测到它之前有时间实施它。当然，当基础设施有多个入口点时，网络攻击者会安排一些明显的事件，例如DDoS攻击或故意检测到某些数据向远程主机的传输。这只是一个烟幕，可以转移人们对发生在完全不同领域的实际攻击的注意力。人们可以在任何系统中找到漏洞并想出利用它们的方法。一般来说，人类和人工智能都不能预见一切，但它有可能使网络攻击者的任务变得异常困难。为企业基础设施提供所有可用的高级安全工具是可能的，也是必要的。如何保护现在，网络罪犯和XDR系统之间展开了一场军备竞赛。黑客正在寻找弱点，而防御者的任务是尽量减少入口点的数量。大公司可用的基于大数据的技术和工具对于大多数网络犯罪分子来说往往过于昂贵。高级网络团伙实施了重大网络攻击和数据泄露。尽管如此，在大多数情况下，今天的网络事件都是从针对特定用户的针对性攻击开始的。首先，除了使用先进的技术保护措施外，企业还需要让用户做好应对可能的网络钓鱼攻击的准备，并对他们进行社会工程技术培训。所有员工都应该至少对如何在工作场所内外保护自己的信息安全有基本的了解。由于向远程工作的大规模过渡，这一点尤为重要。此外，有必要尽量减少可能的入口点的数量。这些可以是连接到公司网络并可从外部访问的任何设备。入侵者可以利用配置错误的驱动器、非常老旧但仍在运行的路由器和物联网设备。
