当前位置: 首页 > 科技观察

专访优派云CTO黄慧攀:技术创新CDN服务的优势

时间:2023-03-16 01:15:13 科技观察

近两年,人们对CDN(ContentDeliveryNetwork)有了更深的认识,CDN技术无疑成为互联网支撑的必然.随着大数据的爆发,在传统互联网的带动下,如视频、电子商务、网络游戏等细分行业,越来越多的传统行业布局互联网,中国专业CDN行业呈现高速增长趋势最近几年。因此,这次专访是专门针对优拍云的CTO黄慧攀进行的。黄慧攀,优拍云CTO,aLiLuaWeb开发框架作者。2010年加入优拍网,开始研发优拍云存储相关技术。12年互联网行业从业经验,技术经验涵盖广泛。早期主要是Web前端开发(PHP/HTML/CSS/JS),后来逐渐转向底层研发方向(Linux/C/Lua)。目前带领团队负责CDN系统及底层分布式存储系统的研发。黄惠攀刚加入优拍时,主要负责CDN系统,将一个产品与原有的存储系统结合,变成U盘云存储。至今主要负责管理整个优拍云产品部。优拍云有三个产品,一个是CBI,一个是云存储,一个是云处理。黄惠攀目前负责三线。未来,排云将以CDN为主,其次是云存储、云处理。CDN非常重视硬件投入和硬件资源积累的过程,而排云多年的积累才有了今天的成绩。创业公司需要供给创业团队。一般来说,他们需要的是一个打包的产品,包括CDN存储和处理。因为创业团队的整个产品基本上都是从零开始,在这种情况下,使用打包好的产品会有明显的加速效果。有很多东西是不需要开发的,比如图片缩略图、音频压缩、视频处理等开发过程,还有存储问题不用考虑,最重要的是网络加速,而且是已经是一套完整的云拍摄CDN部署解决方案。这个区域存放着大量的小文件,很多人都在想着解决这个问题。大量的小文件性能很差。区别在于IO问题,但问题的关键是你如何请求这些文件,如何访问它们。如果直接从数据中心提供接入,变化会非常大。这个时候,存储集群就承受不住了,除非杀盘或者杀盘到SSD这种昂贵的方案能够解决这个小文件的IO问题。另一种方式是搭建CDN网络。什么是CDN网络?优派云现在有100多个节点,每个节点有20到30台服务器,相当于有几百上千台服务器来承载这些IO,这些并发不会达到磁盘的瓶颈。.但如果这些请求全部落到数据中心,将难以承受。目前业界还没有人直接对外提供存储访问服务,因为这样会存在IO问题,而使用CDN,相当于起到缓存加速的作用。15年规划中,优派云将在国外建设十到二十个CDN,优派云的CDN网络覆盖率将成为国内最好的之一。CDN系统的技术特点在技术方面,黄惠攀表示,排云的CDN系统主要是用C语言和Lua语言编写的。研发团队核心组十个人,十个人中80%的人在做CDN,拍摄的云存储写于(13:56)。云存储团队有五六个人,一个是云处理。线上也有五六个人,主要使用Python和C语言。很多人不懂Lua语言。它是最快的脚本语言,没有任何脚本语言能与之匹敌。优拍云从2009年开始研究Lua适不适合自己,经过一年多的研究,直到2011年你们才真正开始把Lua放到优拍云的业务系统中。优拍云具有一定的技术实力,敢于创新。它提供的服务和产品功能都是最先提出的,所以内部使用的技术基本上都是最先尝鲜的。为什么CDN选择这些分布式计算服务框架?原因很简单,开发工作量很小,开发周期很短,很快就能做出满足业务需求的功能。排云做的CDN和传统的做法有点不同。现在真的是围绕着云的概念在做CDN。某个节点的具体服务器,其实只是整个CDN网络中的一粒沙,非常小。单元,并且可以在不影响整个CDN网络的情况下随时删除。传统做CDN的方式,会按照客户来划分节点,而在优派云新一代的CDN系统中,没有这个概念。所有客户都可以访问同一台服务器,都可以做缓存加速。分配几千台服务器给这些客户同时使用。比如客户A来了,你可以用一千台服务器,客户B来了,你也可以用千台服务器。不会对服务产生影响,也不会影响任何单个客户。系统架构主要分为三层。一个是边缘加速节点,一个是中转节点,一个是数据中心。排云在加速CDN上做了很多优化。重点是中转节点。中转可以避免很多返源过程中原产地压力过大的问题。因为边缘节点太多,现在有100个节点,接下来有200个节点。如果这200个节点要回源的话,如果他们一个人回源,就是200次,但是会有一个转移议程,转移的有十个节点,这200回回这十个,再从这十个回源,相当于从200个变成只有十个回源。中转层的技术特点,第一是多线,第二是数据,相当于一个二级数??据中心,它的存储容量非常大,已经是PP级别,缓存是PP级别.现在网上有二十、三十个PP,它在外面缓存了一个PP。那么排云有十个这样的中转节点,也就是说它缓存了二十个、三十个PP,数据中心100%的数据缓存在外面。关于缓存分配,看操作方式,排云用的是云端。所有人只有一个系统,它产生的数量级是固定的。如果客户A是一个大型网站,有可能就几百TB,不可能达到PP级别。CDN系统中的数据迁移基本是零成本,只要做一个非常简单的域名解析,就可以迁移到UPCDN。至于云存储,有一些困难,迁移周期会很长,因为文件是通过公网拷贝到云端的云存储。这个迁移周期根据数据量不同而不同,有可能是一个月,也有可能是越长越好。有一年,排云还推出了匹配镜像服务,自动保存对方的数据,让对方的服务业务在迁移过程中不受影响。还有另一种更直接。我们现在有很多客户是这样的,因为他之前没有用过云存储,他用的是自己的服务器,内容在硬盘上。他直接把硬盘给了我们,我们去机房插硬盘。我们会有一个导入到云存储的过程,因为我们在内网,带宽非常充足,所以它的速度非常快。如果你有一个或两个TP,它会在两天内完成。几年前刚开始搭建CDN系统的时候,可能遇到过很多困难。经过几年的发展,排云的技术难点已经基本攻克,目前正处于部署阶段。当系统成熟稳定后,当前的重点是节点工作的持续扩散,进而使CDN网络更加完善。CDN本来就是专注于数据分发,不需要同步。但是当和数据中心关联起来的时候,就涉及到同步,比如机房的同步,机房的同步就很容易解决。难点在于跨区域同步,因为跨区域网络的稳定性和速度与内网不同。太大。优拍云主要做的是有一个专门的同步系统,可以根据实际情况调度带宽。在白天业务繁忙的时候,排云只会使用20%的带宽进行同步,但是到了晚上带宽空闲的时候,就会使用80%的带宽进行同步。其实这个问题在技术上并不难,主要是带宽的问题。就看线路好不好,白云现在的数据中心基本都有自己租用的直连光组。所以优拍云在硬件上的投入是非常大的,尤其是2013年和2014年的节点都翻了一番,目标是2015年翻一番。目前主要是靠一些硬件来增加硬件的覆盖,因为对于现在的网络来说而优派云的CDN服务,冗余度只有20-30%。如果我们要继续扩大CDN市场,就必须把这些增加的带宽冗余。创新的计费方式与排云的计费方式统一标准化,按实际使用量计费,不再是采购固定金额,然后每月收钱。这样,就不会有浪费。排云也是第一个提出这样概念的CDN服务商,即按流量计费,不同于传统的按带宽计费的方式。如果你来收费,有可能哪天你不做活动,只需要2兆带宽,又要收费100兆。说句公道话,大家都按流量收费。事实上,一些业务稳定的客户会要求按带宽收费。国内CDN市场潜力巨大,竞争激烈在国内市场,专业的CDN服务提供商通过融资、并购等方式提升竞争力,为日益激烈的市场竞争做准备。CDN市场即将迎来新的发展局面,现有的CDN服务商并不具备绝对的竞争优势。虽然技术门槛较高,但在人才、技术储备、资金实力、市场经验等方面与国外龙头企业仍有一定差距。国内CDN企业要想在竞争中胜出,需要投入更多的精力,做好各方面的准备。黄慧攀强调,优拍云是一家主要产品为CDN的公司,不是云存储公司。优派云在技术和决策上都非常创新,不会拘泥于传统方式。同时他透露,到2015年底,排云会有一个比较大的动作,在互联网领域是一个比较大的颠覆动作,跟传统的认知不同。