2002年10月25日,经过两年的技术攻关和产品研发,绿盟科技“黑洞”正式上线。2005年之前,网络安全相关的法律还没有出台,很多稍大一点的网站经常受到敲诈勒索的威胁,服务器动不动就被DDoS瘫痪。俗话说“乱世出英雄”,危难之际英雄大显身手。绿盟科技此时应运而生,开发了针对当时主流DDoS攻击的防护产品——“黑洞”(Collapsar)。黑洞是国内第一款抗D产品。它是该子类别的创造者和开拓者。BlackHole之后,又出现了Cisco、Arbor等竞争对手的类似产品。天文学说:“黑洞的质量如此之大,以至于它产生的引力场如此之强,以至于任何东西,甚至光,都无法逃脱。”2020年是绿盟科技20岁生日,也是黑洞18岁生日。当被问到黑洞是如何成为被全球市场检验和认可的产品时,绿盟科技先生的脑海里不由得放映了一台放映机,重放着“黑洞”的故事。黑洞的发展史,就是今天DDoS攻击与防护对抗的历史。道,从那天起。抵御“洪水”,把“黑洞”的诞生拖到2002年。那时候,中国大部分人还是拨号上网,人们对网络安全的意识大多停留在反软件层面。该设备在当时还是一个新奇事物。至于“黑洞”这样的反D专业装备,在当时可是传说中的东西,也只有安全专家才能想得出来。当时市场上还没有黑洞的同类产品。很多时候,当客户遇到DDoS攻击时,他们会直接致电绿盟科技,希望借一个黑洞来临时支持。当时,绿盟科技的黑洞产品线经理——黑洞之父,更确切地说是Anti-D之父叶小虎博士回忆起当时的情况:团队里只有几个人黑洞团队一开始,欧怀谷、吴铁军、刘天一、徐祖军等(现在都是技术高手)经常同时做开发和技术支持。叶博士有时会亲自背着黑洞到用户机房安装调试设备。“很多服务器被DDoS攻击缠上后,7*24小时,没完没了的玩,服务器不是关机,就是‘半死’,那些维护工程师很头疼”,“只要黑洞上线了,服务器就活了,效果很明显”,“因为我们帮忙解决了攻击,以前用户请我吃饭”。早期的黑洞最多只能处理10Mbps的流量,现在看来很低,但是在当时调制解调器拨号速率只有14kbps-56kbps的时候,黑洞的处理能力已经非常庞大了,今天的黑洞ADS已经有单机240G,单T集群上的清理能力。图1.黑洞的早期照片。在黑洞推出后的很长一段时间里,“黑洞”都是抗D产品的代名词,甚至在一些主管部门的文章中,直接将抗D产品称为“黑洞”。当时,黑洞相当于反DDoS技术。很多网友会在网站上发表自己对黑洞和反D算法的理解。比如有人讨论黑洞的反向检测技术,写道:“黑洞不断向流量来的方向发送大量的反向数据,对攻击包进行包围和破坏……”文章感觉不像是一个网络安全装置,更像是一个正负粒子对撞机,造成正负质子的碰撞和湮灭。事实上,黑洞确实有逆向探测技术(现在是公开技术)),但他们不能如论坛帖子中所述,可以通过反向数据包来消除发送的DDoS数据包。黑洞仅使用反向检测技术来区分正常流量和恶意流量。除了这些轶事外,还有很多对网上关于黑洞的研究,当时在一些论坛上,有人公布了他们的发现,声称找到了黑洞的弱点。比如有人逆向了黑洞的anti-D算法,然后讨论了黑洞保护下的bypass方法。面对这些挑战,黑洞组的大部分同事都一笑置之,但也有少数让大家感受到了真正的威胁。其中最著名的应该就是CC攻击了。ChallengeCollapsar,CC攻击的全称——ChallengeCollapsar,黑洞翻译过来迎接CC挑战就是挑战黑洞。挑战的起因是面试没有如期举行。由于某些意外原因,叶博士无法采访Qaker,于是Qaker潜心研究,发布了专门针对黑洞Collapsar的CC(ChallengeCollapsar)攻击。谁也想不到,从此CC攻击(以及后来的CC变种)给中国乃至世界的互联网安全带来了长期困扰。面对突如其来的新型DDoS攻击,黑洞团队的同事们心中充满了喜悦和紧迫感。在叶博士的带领下,黑洞团队开启自虐模式,潜心分析CC攻击的表象和原理,并根据用户环境不断推导方案,力求将对业务的影响降到最低在保护的同时。设立计划,推演计划,反驳计划,建立计划,理论逐渐完善,最终黑洞清除CC攻击的能力得到广泛认可。也许他们彼此不认识,或者他们互相欣赏。后来,叶博士和Qaker成了朋友,他们经常讨论新攻击的原理和对抗方式。保持旺盛的热情,形成清晰、科学的解决问题的逻辑体系,了解黑客的所思所为,夯实关键技术实力,是成就世界知名安全产品的前提。总有比你优秀的人。CC攻击的发展虽然危害了互联网安全,但也激励着我们的网络安全人员去对抗各种攻击。DDoS的发展史就是黑洞的进化史。算法是黑洞的宝贵资本,是产品的核心竞争力之一。主要来源于技术研究和实战积累。对于客户来说,能否防范攻击,业务是否受到影响,是衡量一款防D产品的重要指标。如果攻击来了,业务掉了,界面再好看,产品也不合格。有时,保护算法中一个字节的不同,会使整个保护效果相差千里。攻防算法的改进没有多少套路可循。如果没有时间和大量的客户积累,相信黑洞也达不到现在的防护能力。从这点来说,黑洞的成长应该由衷感谢那些使用它的用户。DDoS的发展史就是黑洞的进化史。根据DDoS技术的演进时间线,我们大致将DDoS攻击分为几个阶段:第一阶段,伪源DDoS攻击。早期的DDoS攻击主要是假源攻击,简单粗暴但效果极佳,在聊天室聊天可能会“死”。这种攻击一般是由工具或仪器结构产生的,因为它的源IP是假的,无法响应黑洞检测包的属性。一般传统的TCP-Flood防护算法可以很好的清除此类攻击,此类攻击并不多见。技术门槛。后来ISP也开始在网络接入层启用URPF策略(注意,URPF是一种单播反向路由查找技术,用于防止基于源地址欺骗的网络攻击,主要在网络接入层启用),为了直接从网络架构层面过滤假源攻击。根据我们的统计数据,市联社发挥了一定的作用,但仍有漏网之鱼。近年来,虚假源泛洪仍然是DDoS攻击的重要组成部分(详见绿盟科技历年DDoS威胁报告)。事实上,假源DDoS攻击并没有大家想象的那么“简单”。攻击者也在不断思考、改进和实践虚假源攻击的实战效果,因为这种攻击的“开销”太低了。如果他们能够以低成本击败对手,又何必发动更复杂、更复杂的攻击呢?高成本攻击(攻击ROI)?以至于在DDoS攻防史上,出现了一些增强型假源DDoS,也可以简单理解为第一代DDoS的Plus版本。比如在2010年前后,我们发现攻击者发起的假源攻击不再是完全随机的,而是将攻击源IP伪造为真实服务器的地址段,比如某服务商的地址段某省,当黑洞检测这些源IP的真实性时,很可能会误认为这些IP是真实的,从而导致检测算法失效,导致服务器崩溃。同时,这些服务商也在流量上有所体现。攻击者可以用一块石头杀死两只鸟。从另一个角度来说,这也是最早的DDoS反射攻击,早于大名鼎鼎的NTP反射。当看到这些增强的攻击时,黑洞团队的同事们会很兴奋,他们会通宵研究对策,提高黑洞的防御能力。第二阶段,针对知名协议,DDoS真实源攻击CC攻击的主要变化是不再简单地使用假源发起攻击,而是使用真实源(如互联网上的代理服务器)对Web进行攻击服务器(HTTP),耗尽服务器资源。现在CC攻击(最早的CC攻击是HTTPFlood)已经有了非常成熟的算法来应对。例如,BlackHole现在内置了9种CC保护算法。广义的CC攻击应该还包括HTTPS攻击、慢速攻击、连接耗尽、空连接攻击等,它们都有一个共同点,就是利用真实来源发起攻击。攻击者使用真实源遵循协议栈行为的特性,使得防御变得更加困难。但是众所周知的协议(如HTTP、DNS)有一个优势,就是可以通过研究公开的RFC文档来了解协议的每一个细节(黑洞团队成员的爱好之一:我喜欢阅读RFC)绿盟科技的技术人员发明了不同的抗D算法,灵感来源于业余时间阅读RFC),而DDoS攻击与防御的平衡点往往在几毫米之内,一点就可以攻破,并且会不破的话感觉很深刻。供应商通过各种渠道验证、学习和吸收。为了保持攻防差距,一方面,黑洞技术人员潜心进行理论研究,保持算法的先进性。比如2012年黑洞全面内置IPv6各种DDoS防护算法,提供v4/v6双栈防御能力,比如最近火热的5GDDoS,我们也做了很多技术储备;跟上攻击趋势。知己知彼,方能立于不败之地。除了CC之外,还有一些让我们不安的攻击。第三阶段,对于私有协议,DDoS真源攻击,SDK防护算法的诞生对于DDoS防护设备,任何无法解码的流量都可以视为私有协议流量,防御难度极大。对于知名的协议,也可以通过查阅分析RFC来寻找蛛丝马迹,但是面对私有协议流量时,大家的眼睛都黑了,除了限速之外,不知如何是好,两者之间存在不平衡进攻和防守。2012年前后,黑洞为腾讯当时最火的一款游戏(当时还没有王者荣耀)提供了反D防御——吸金业务往往会引来复杂且针对性强的DDoS攻击。那段时间,黑洞团队和腾讯安全中心的专家们(creativeLiu、jerrybai、cchen、junjunluo,现在都是大佬们)苦不堪言,但同时也很兴奋,经常讨论到深夜。攻击者的思路和手段非常巧妙,使用了很多高级的攻击手段。这样的对手实属难得,一度让我们怀疑这次袭击是由“高手团伙”发起的——我们也称这类攻击游戏为CC。那段时间,我们先后发明了Self-learning、XX-Retrans等新算法,并成功应对了攻击。但俗话说,不怕贼敲门,就怕贼惦记。几个月后,算法被攻破,游戏又开始掉线了。图2绿盟科技2019年DDoS威胁报告——攻击惯犯数量占游戏CC的比例。有更好的解决方案吗?那段时间,大家激情碰撞,讨论了一整夜。最后,我们共同发明了私有协议DDoS防护终极解决方案(一)——SDK防护算法,黑洞上的水印算法。水印算法,顾名思义就是客户端在发送业务流量之前,根据黑洞提供的SDK,在业务流量中嵌入水印。当流量经过黑洞时,黑洞会根据水印进行识别,达到精准清洗的效果。该技术的出现,解决了很多无状态、敏感业务(如游戏、金融等)需要零误杀、低延迟的行业难题。第四阶段,超大规模反射攻击的出现导致攻防资源失衡。2014年,一次峰值400Gbps的NTP反射攻击震惊了全球网络。DDoS的出现从根本上改变了DDoS对抗的格局。图32017绿盟科技DDoS威胁报告-反射攻击流量趋势图2016年,热闹非凡。今年9月19日,OVH声称145607台网络视频监控设备遭到峰值800Gbps的DDoS攻击。随后在9月20日,KrebsonSecurity遭受了峰值620Gbps的DDoS攻击。10月,黑洞团队联合绿盟科技威胁情报中心(NTI)和绿盟科技威胁响应中心,正式发布《网络视频监控系统安全报告》,对此类DDoS攻击的来源进行深入分析。图4绿盟科技2016年网络视频监控安全报告我们认为,这些攻击均源于一个名为Mirai的僵尸网络。据我们统计,当时全球感染Mirai的物联网设备数量超过200万台,遍布全球90多个国家和地区。我们计算出仅这个僵尸网络就具有发起峰值超过1.5Tbps的攻击能力。后来,2016年10月发生的“北美大规模网络瘫痪”事件和11月发生的“德国大规模用户断网”事件也印证了我们当时的观点。当攻击者能够以低成本利用在线资源将攻击规模扩大到数百GB甚至TB级时,这是极其可怕的。物联网等设备带来的安全问题给全球网络安全防护带来了巨大挑战。挑战。安全生态合作始于2015年,绿盟科技先后与电信云迪、腾讯云、阿里云、华为云、浪潮云等云服务商合作,实现各安全领域的优势和能力互补,共同打造抗D混合清洗等安全解决方案,为企业客户提供最佳的防护解决方案。不仅可以帮助用户应对复杂的应用层混合DDoS攻击,还可以自动应对突发的超大流量攻击。同时,黑洞也为各大云厂商的私有云客户提供强大的本地DDoS防护能力,成为私有云整体解决方案的一部分。开天辟地,打造“云-地-人-机”立体防护体系。安全事件的偶发性,注定了产品不能时刻在客户面前展示肌肉和实力,只能在关键时刻大显身手。然而,安全专家并非随时随地可用;超大流量云防御成本高,还存在流量绕路导致延迟、第三方安全顾虑等问题;并不是每个人都精通安全设备,这些都是客观存在的问题。如何在关键时刻大显身手?绿盟科技早在多年前就开始思考和实践解决这个问题,这就是业内众所周知的P2SO策略。其中,黑洞系列产品就是这一策略的践行者之一。2015年,绿盟科技发布了以智能、敏捷、可操作为核心理念的智慧安防2.0战略。绿盟科技整体抗D解决方案的研发和构建也是基于这一理念。图5NSFOCUSSmart2.0可视化能力——绿盟全球DDoS态势感知系统(ATM)2016年,由黑洞组织主导的绿盟科技全球DDoS态势感知系统(ATM)开发完成。基于这个系统,我们可以实时清晰地观察到网络中发生的海量DDoS攻击事件,第一时间知道:谁被击中了?谁打的?怎么打的?该系统也是“变被动响应为主动响应、从非实时到实时、从无数据到有数据”战略的有效实践。今天,绿盟科技威胁情报中心NTI每年都会发布《DDoS威胁报告》,包括ATM的贡献。记得有一年,我们公司的情报和国际友人比拼情报质量。其中一项测试项目是PK恶意IP数据的质量。优势。智能化、敏捷化、运营化场景可能是很多运营商都经历过的:某VIP客户半夜遭到国外黑客组织大容量DDoS攻击,业务受到影响。事发20分钟后找到对应的后台运维部门,运维部门人员打开电脑——登录4A系统——登录设备——最后发起流量清洗命令。最终黑洞虽然成功防御攻击,但操作过程还是过长,客户的业务也因此受损。同时,在客户业务正常的情况下,客户没有渠道看到自己的业务安全数据和情况。为帮助运营商打造安全及增值运营能力,在运营商专家和绿盟科技运营事业部的指导和帮助下,黑洞集团集中精英研发力量,迅速研发出绿盟科技流量清洗业务运营系统ADBOS(防DDoS业务运营系统),解决了以往抗D增值运营的一些痛点,大幅提升运营效率和客户感知,打通了抗D增值运营的最后一公里。黑洞AI的诞生除了ADBOS系统,我们其实还做了很多有趣有价值的事情。篇幅原因就不一一描述了。图6黑洞平台架构图上面提到,我们将DDoS攻击的发展分为四个阶段,每个阶段都有鲜明的特点,以及对应的最佳防护策略,但是很多策略需要人工配置干预是的,黑洞能否产生DDoS算法和调整策略自行应对攻击?答案是肯定的,而且我们的实践效果还不错。2016年,在叶博士和绿盟科技系统架构部的帮助和指导下,我们发明了一种新的抗D方法/模型,称为AdaptiveMimicGeneticDDoSProtectionAlgorithm,更流行的说法是AI抗D。该算法主要利用黑洞防护过程数据进行训练,生成动态攻击防护模型库。在防护过程中,根据流量模式自动计算最优防护策略和参数,由机器自行判断哪些流量可能是攻击,哪些是业务。实现对攻击流量的高速准确识别和清洗。同时,攻击样本库和信誉库可在云端在线更新,并同步到清洗平台和设备,实现“一处被攻击,多处联动”的云端预警和防护机制”,大大提高了DDoS攻击的检测和清洗效率。此外,为了提高运维效率,我们在日常运维工作中引入了动态相似度聚类算法和自动协同保护模型。基于动态聚类的流量检测和牵引联动模型,在传统正常流量建模的基础上,引入攻击数据进行建模,使大量用户自动聚类和分组,结合“流量监控+protectedservice”多维度检测机制,智能研判,实现数据流自动牵引和恢复。当一台主机受到攻击时,同一个集群组中具有流量相似度和攻击相似度的其他主机也可以提前进入防御准备状态。通过这一系列的方法和手段,可以在无需人工干预的情况下,在实战中不断提升各个黑洞的清洗精度和准确性。2016年,基于绿盟科技黑洞ADS、ADBOS平台及多项专利保护算法的成果,绿盟科技与广东电信客户共同申报,荣获广东省科学进步奖三等奖。2018年,基于ADBOS平台的北京移动清洗项目成为工信部电信互联网行业网络安全试点示范项目,与各级主管部门及各行业客户交流经验在2019年工信部试点示范项目推介会上。事实上,不仅在运营商行业,黑洞在金融、游戏、政企、教育等行业的部署和应用最为广泛,得到了客户的广泛认可。根据第三方分析机构Frost&Sullivan2019年最新发布的两份市场报告《DDoS Greater China Market Ranking Statement,CY2018》和《DDoS Greater China Market Ranking Statement,CY2018》:绿盟科技反拒绝服务系统ADS(黑洞)以21.2%的市场份额位居大中华区第一和15.5%。区域和中国双第一。这也是黑洞连续第五年在报告中排名第一。图7:BlackHole的多张获奖图片在海外市场,绿盟科技BlackHole也收获颇丰。2017年3月,英国伦敦智能混合DDoS防御解决方案提供商绿盟科技荣获“2017欧洲IT&软件(www.iteawards.com)年度最佳安全解决方案奖”。同时,绿盟科技还入围了“年度公共部门和公用事业解决方案”和“年度安防供应商”两项大奖,这是绿盟科技首次入围三项国际安防大奖同时,经过绿盟科技海内外人的不断努力,绿盟科技黑洞的国际客户名单现已囊括Telefonica、TM、AIS等众多国际大牌运营商,收获颇丰.图8绿盟黑洞部分海外客户图9绿盟黑洞云清洗(DPS)节点分布示意图十八年来,黑洞作为绿盟产品的一员,从单机产品发展而来那时只有10M的清洗能力到今天的分布式机箱和云端黑洞,黑洞能力在世界上无处不在,黑洞在保护全球用户免受e攻击第二要保证用户业务安全。我们相信卓越的技术和服务是最终的营销手段。正如叶博士所言,以往打补丁、串葫芦的方式并不能解决用户安全问题,需要系统地设计和实施安全。绿盟科技始终关注安全最佳实践,持续跟踪研究国内外先进的安全架构,并将最新的研究成果和实践经验落地到智能安全运营平台及相关产品上,为客户提供高安全性的服务。优质的产品和方案。最后,祝绿盟科技20岁生日快乐!黑洞18岁生日快乐!
