随着数据中心运维精细化要求的不断提高,网络流量采集分析已经成为数据中心基础设施不可或缺的分析手段。通过对网络流量的深入分析,可以更直观的加快故障定位,分析应用数据,辅助优化定位,加快故障定位。网络流量采集也是一门科学。如果做得好,关键时刻就会有效果。如果做得不好,就会变成假的,占用大量的网络带宽资源。最好不要做这样的流量采集。流量采集并不是简单的将几个网络设备端口的流量镜像副本发送给分析服务器。建立完善、合理、有效的交通采集网络十分必要。只有这样的流量采集才能帮助优化网络和业务。性能指标降低故障概率。当然,网络流量采集也面临着很多新的问题,本文将一一阐述。流量增长过快据预测,到2019年,数据中心流量将是2014年的三倍,年均增长30%。不要只看增长率。有2.1ZB。流量的增长会给监管带来很多问题。例如现有监控服务器处理能力不足,镜像流量过大造成设备端口或内部通道拥堵,流量类型过多导致采集类型不全等。因此,流量的增加会带来一系列问题,监管手段也必须相应调整。否则无法实时采集流量状态,甚至影响现有业务。如果采用抽样法,则有一定的抽样比例。随着流量的增加,采集到的流量会越来越多,可能会漏掉一些特征流量,或者采集到的流量过大,设备的CPU会被开启。这时候就必须降低采样率,但是此时降低采样率采集到的样品流量会变少,准确度也会下降。总之,在流量不断增加的情况下,不仅要扩充设备,还要调整采集流量的方式,否则流量采集就起不到调节作用。采集需求多样化数据中心网络承载的业务种类和流量特征越来越多。有时需要针对不同的流量部署不同的采集技术。Mirroring、Netflow、Netsteam、Erspan等都可以作为流量采集技术。镜像有很多种,可以是基于端口的镜像,也可以是基于某些特征流的镜像,也可以是基于VLAN的镜像。镜像流量可以发送到多个监控服务器,跨多个设备镜像,或者通过VLAN广播,以满足各种需求。流量采集要求。即使有这么多类型的流量收集方式,他们也往往不满意。例如,Netsteam受限于技术实现。有的只能识别具有五元素IP特征的流量,而不能收集和分类IP头其他部分的变化。有些设备是通过CPU软件实现的,处理能力太低。部分设备采集FPGA硬件实现,流量识别的种类不是很丰富。此外,在高冗余的网络架构中,二层多路径等技术也对流量采集提出了挑战。不同的路径有流量分布,所以需要在所有链路上部署流量采集点,这样可以在不同的链路上采集到相同的Traffic,实际得到的流量要高于采样率。数据安全要求高。人们越来越关注数据中心的安全,尤其担心自己的隐私数据被泄露或被他人利用。如果在数据中心部署过多的流量监控,很容易引起人们的反感。这就像在更衣室里安装了一个摄像头。我觉得我的隐私被监视了。所以数据中心的数据流量是不允许随意采集的。它用于数据分析。因此,交通采集必须按规矩办好,交通监管信息要公开。让人们放心地使用数据中心中的应用程序。数据中心网络承载着客户业务的重要数据。需要对数据进行安全检查,避免数据采集过程中的信息泄露。安全问题绝对是采集网络规划建设的首要考虑因素。一些重要的生产网络流量数据需要进行脱敏处理,隐藏客户敏感信息,避免信息泄露。数据分析后,及时销毁原始数据,防止流量数据泄露或被他人非法使用。流量分析工具差异很大。通过各种流量采集技术从网络中获取的流量几乎是未经处理的数据。这些数据在监控设备上采集后,需要通过特定的分析工具进行解析和统计分析。例如Netflow采集只是将采集到的流量封装成数据包,以统一的格式发送给监控设备。监控设备必须能够识别Netflow报文,分析报文并还原出原始流量报文,然后再去原始流量进行分析统计。使用不同的分析软件工具,得到的结果会有很大的不同。有的工具只是对流量进行统计和分类,有的工具可以利用云计算、大数据等技术进行数据分析和预测,从而优化业务运营。形势分析和预测。不同的分析工具兼容不同的流量采集方式,又不兼容。这也导致了市面上流量分析工具层出不穷,质量参差不齐。选择时一定要慎重。选择有效的流量采集方法,不仅可以节省资金和降低流量监控成本,还可以最大限度地利用采集到的流量数据进行分析。在数据中心网络不断发展壮大的过程中,流量采集面临着诸多困难,但这方面的工作仍需继续做好。我们必须知道如何适应和解决问题。方法总是比困难多。现在的数据中心都在做细粒度运维,流量监控是最重要的一环。早期部署网管软件获取一些监控节点信息已经不够用了。需要采集流量,进行后期的流量分析。流量采集与各类分析应用平台联动,从不同角度挖掘数据信息,对数据进行深度分析,支撑运维业务发展。预测数据中心网络的运行状态,提高数据中心网络的运行效率。流量采集是流量分析系统的基础。一个全面、合理、有效的流量采集网络,有助于提高网络流量采集、过滤和分析的效率,满足不同角度的流量监管需求,优化网络和业务性能指标,提升客户体验。
