当前位置: 首页 > 科技观察

数据中台三类数据特性分析

时间:2023-03-17 11:46:39 科技观察

数据中台承载着多种业务类型,如:支付、监控、管理、网站、数据分析等,数据中台几乎无所不能。这些业务形态虽然千差万别,但本质上都是数据。这是数据中心的核心特征。之所以叫数据中心,是因为它是处理数据的中心。数据中心的所有系统都是围绕各种数据开发的。是的,有专门用于数据研究的技术,比如数据挖掘、大数据、人工智能等数据分析技术。通过分析和整理数据,可以获得数据以外更有价值的东西。分析现有业务数据尤为重要,包括详细应用占用带宽的比例、使用频率、未来增长趋势等。充分了解当前的业务,尤其是复杂的数据业务,将特别有利于数据中心网络优化、扩容、新建项目的实施。数据中心内的数据可以按多种形式分类,例如按应用业务:游戏、VoIP、音乐、文件传输、Email、视频等;也可按报文长度分为:63字节、64~511字节、512~1023字节、1024字节以上等;还有一种最常见的分类方法,可以分为:语音、视频和数据。最后一种分类方法对数据中心网络分析最有用。不难分析,数据中心所有的应用业务数据可以分为语音、视频和数据三类。下面详细介绍这三类数据的特点。可以根据这些数据的特点,对数据中心网络进行有效调整,更好地为这些数据服务。语音数据我们平时的说话、听到的各种音乐、噪音都是语音。言语的特点是流畅、温和和可预测。语音数据对丢弃和延迟极为敏感。如果丢弃量比较大,声音会断断续续,不清晰,杂音较多。如果网络延迟比较大,语音会产生回声。因此,数据中心要承载语音和数据业务,需要在时延和丢弃率方面满足一定的要求。一般承载语音业务,要求数据中心网络时延小于150MS,抖动小于30MS,丢弃率小于1%,以保证数据中心网络能够传输高质量的语音数据。语音数据一般使用RTP或UDP协议传输。视频数据视频数据近年来增长迅速,几乎超过了其他数据流量的总和。视频数据量大、内容丰富、展示直观,因此很多应用系统都喜欢使用视频数据。视频数据具有一定的突发性,不是良性的,喜欢攻击性。它还对丢弃和延迟敏感。和很多高清视频一样,为了保证清晰度,需要非常低的丢包率。现在3D甚至4D大片不断出现。这样的大片需要7到8G的硬盘空间,传输的数据量极其庞大。如果要缩短传输时间,就需要大容量、高带宽的数据中心网络。同时,视频数据要求数据中心网络时延在150MS以下,抖动小于30MS,丢包率小于1%。一般采用RTP或UDP协议进行传输。视频数据需要高网络带宽和大容量存储硬盘。实时在线视频业务尤其需要大容量的数据中心网络。通用数据数据应用种类太多。不同的应用具有不同的流量特性,同一个应用的不同版本在流量特性上可能存在巨大差异。这类数据的特点是兼具平滑性和突发性,兼具合规性和攻击性,但一般这类数据对延迟和丢弃不敏感。这些数据基本上都是通过TCP协议来处理的。TCP协议有完善的重传机制。当发现丢包时,会进行多次TCP重传。这种机制保证即使网络中出现丢包,也可以通过重传的方式来补救。当然,这样存在丢包的网络会造成大量的TCP重传包,重传包也会占用流量,自然会加重网络拥塞,可能会造成网络上更高的丢包率。传导机制不一定好。偶尔的TCP重传没有效果,但是如果重传的包数量特别多,就会加剧网络拥塞,这种机制会适得其反。数据服务其实是非常复杂的,我们不容易定义它们的特性。有的要求高带宽(大数据分析业务),有的要求大缓存(突发数据业务),有的要求不高。时延(网搜业务),有的要求零丢包(银行支付系统),所以不同的数据对网络的要求不同,需要区别对待,不同的网络环境运行不同的业务系统。数据中心网络拥有丰富的数据分类识别技术。通过这些技术,可以根据不同数据的特点选择不同的网络路径,甚至可以设置优先级。这些技术就像交通系统,可以让人们去到不同的地方。车辆走在最适合自己的道路上,同时可以优先让救护车、警车等车辆先行,不受红绿灯和管制的限制。语音、视频和数据是数据中心承载的所有业务的三大数据类型。难点在于有时这三类数据同时存在于一个数据中心网络中,而这三类数据对数据中心网络的要求是不同的,如何一一满足是考验数据中心的智慧网络技术人员。很多时候,甚至需要在某些业务上做出一些牺牲,以保证重要业务的正常运行。这是一个比较复杂的设计项目,需要不断的实践和检验。我们常说的网络服务质量保证,即QoS技术是实现数据融合最关键的技术。如果希望语音、视频和数据在数据中心网络中和平共处,就需要部署QoS技术。QoS技术可以在带宽、时延、抖动、丢包率等方面做出多种引导策略,也可以根据业务的重要程度来确定权重,要求三类数据都符合,所以从而保证三类数据在同一个数据中心网络中可以和平共处,各自运行各自的应用业务,互不影响。重要数据优先处理,数据量大可以获得更高的网络带宽,各取所需,共同发展。认真了解数据中心这三类数据的特点是非常有必要的。可以根据数据的特点,有针对性地部署QoS策略,为这些数据提供一个最优的数据中心网络环境。