原文链接:千黑科技历史上,蒙恬北修长城,匈奴却在700多里外。
那些守护家园的人,总会把自己写进诗里。
历经沧桑的灵谷如今已是太平盛世。
边境海关停业停游,昔日的金马退入海关大门。
而坐在这些大门旁边的,就是那些目光锐利的边防警察。
去过美国的同学都会记得,边防警察用各种富有想象力的问题审问你,就是为了确保你没有撒谎。
虽然我们大多数人都是老祖宗的“好人”,但这次经历还是让我们有些紧张。
在网络世界里,每个网站就像一个国家,也都有人负责把守海关大门。
这就是WAF。
从科学的角度来说,什么是WAF? WAF的中文表示是:网站应用防御系统,这可能是互联网上最早的防御系统。
它可以通过规则判断一个请求是“好”还是“坏”。
从最早的软件,到硬件盒子,再到云端WAF,在十几年的历史中,无数的网站都依靠这种自动识别的方式来抵御大量的恶意入侵。
在上海云栖大会上,我见到了阿里云WAF负责人建跃。
据了解,阿里云WAF最近在大中华区销售额排名第一,中国所有网站服务的37%都位于阿里云上。
据数据测算,阿里云WAF充当了数百万网站的“门神”。
从这一点来看,建跃有点像当代的蒙恬。
(一)WAF与美国海关 尽管美国每名边防警察都配备了一双全高清高分辨率钛合金火眼,但美国境内仍然存在非法移民。
显然,他们中的一大批人是在边防警察的眼皮子底下溜进美国的。
这不得不说是一种尴尬。
WAF也面临着这样的尴尬。
“大家来到这里,全凭他们的嘴。
”当遇到“装模作样”的坏人时,防火墙系统有时确实会放过他们。
难怪许多安全专家说,“WAF 就是为了被绕过而设计的”。
建跃觉得WAF显然不是万能的。
但如果没有它,就会出现大问题。
首先,当出现 0Day 漏洞时,WAF 确实很有用。
0Day漏洞的爆发往往让人猝不及防,爆发后的几个小时内,各类黑客就会对全网发起海啸般的攻击。
因为你不可能在后台那么快地修复漏洞,所以你必须在前面架起一道强大的力量防线,第一时间挡住这种0Day攻击的利用浪潮。
其次,对于常见的Web攻击,一个好的WAF可以抵御95%-99%的攻击。
在这种情况下,WAF的作用不是防止黑客攻击,而是大大增加攻击者的成本。
他必须不断“改进”攻击技术,提高攻击成本,才能够欺骗WAF。
直到有一天,黑客闯入网站所需的努力和成本接近甚至大于收益,他自然会放弃。
最后,即使有漏报的恶意请求,WAF仍然可以根据不完全的判断提示用户存在风险。
一旦引起管理员的注意,黑客破坏网站的成本就会急剧增加。
他说。
回到美国海关的类比。
尽管边防警察经常允许非法打工的外国人进入其境内,但从整体情况来看,他们显然驱逐了更多的“风险人员”。
如果没有他们的第一道防线,恐怕美国早就被各路移民占领了,移民局连遣返的能力都没有。
(2)算法大师:杀人虽好,但也不能错过过年。
建跃接手WAF后,想要将原本用于阿里云内部安全的能力商业化。
简单来说,就是生产产品并销售产品。
事实上,早在2008年,阿里云各类安全产品的商业化就已经开始。
然而WAF产品的形成过程却坎坷不平,甚至连基本结构都改变了3次。
换句话说,阿里云的爆发式增长实际上已经超出了建跃及其同事的预期。
他们突然发现,如果与云计算紧密结合,WAF其实可以变得更加“爆炸”。
所以直到2010年,阿里云WAF才面世。
爆炸性的阿里云WAF有何特别之处?建跃什么都知道:传统网络只有基于正则性的规则匹配。
简单来说,如果爆发了0Day漏洞,你只需要写一条规则,杀掉利用这个漏洞的代码,就成功了。
但阿里云WAF需要的数据较多,根据不同网站的业务情况不同。
他举了一个例子:如果有一个电子商务网站,正常商品的价格会左右波动。
突然有一天某个产品变成了“0元”,那么这个数据很可能是人为伪造的。
如果一个产品的所有者没有访问过它,并且只有少数特定的IP访问过它,那么这很可能是故意制造的“假象”。
有了这些数据,聚光灯就照到了阿里云的安全算法工程师身上,他们需要打开思路,设计一套算法。
简单来说,满足某些数据特征的请求会被算法工程师标记为“黑色”,因此此类请求下次会被拒绝,或者被重点关注。
每一套算法就像一个海关通道,每个请求就像一个人。
从一端进入,被认为是“好公民”的人的请求会自动放行,有问题的人会直接拘留。
(三)通过网络污蔑、追捕犯罪分子,不要看一个人说了什么,而要看他做了什么。
女孩用来判断男朋友是否值得信赖的黄金法则也适用于判断危险的互联网请求。
每个请求的背后,都可以追踪发起者的一些特征,例如:IP地址、URL中的特殊参数、UA、POST内容中的特殊标签、发起请求的设备(设备指纹)。
总之,如果请求的发起者曾经有过“犯罪记录”,那么根据WAF的算法,很可能他以后的请求会被直接拒绝。
这大概就像警察查账时使用的公民信息系统一样地铁口的人,简单一扫,你以前抄作业、欺负女同学的记录就会被列出来。
比如,如果某个IP被判定有违法行为,那么所有受阿里云WAF保护的童鞋都会被删除。
建跃说,这很可能就像网上追捕一个通缉犯,只要在警察叔叔的控制之下,无论他出现在哪里,都会被无情地逮捕。
还有一种场景,电影中的老侦探可以通过观察一个人的行为来确定他是否有问题,在网络世界中,这个规则也适用于“老侦探”。
如果IP或设备出现异常行为,就会被识别出来,例如IP访问金融网站。
这是可以理解的行为。
但如果你查看历史数据,发现这个IP只访问金融网站,那么这绝对不是正常的用户行为。
无论你多么痴迷于金钱,你都不可能每天只刷银行账户。
。
。
此类账户也会被纳入异常名单,算法会对其进行进一步筛选。
建跃举了不久前刚刚经历的一个案例:某航空公司深受黄牛困扰。
每次系统发布优惠票,都会立刻被抢购一空。
但仔细调查发现,抢票的人并不是真正的用户。
但黄牛党。
他们囤积机票并高价出售。
一旦有人确认购买,他们就会使用自动化程序在航空公司网站上退票,然后同时为实际乘客购买新机票。
机票以闪电般的速度被翻转。
在这个黑产品中,我们没有办法用传统的方法来寻找黄牛,因为他们的请求频率很低,就像普通用户一样,每小时甚至每天只发送一个请求。
不过,我们还是可以通过行为模式来判断大部分刷票IP。
比如,他们登录网站后,不是随便逛逛,而是直奔黄龙,直接买票,没有任何比较和犹豫。
使用这个算法,我们识别出一组黄牛,然后在接下来的一个小时内封锁他们的 IP。
如果一个小时后,这些IP的行为仍然异常,它们就会重新进入“小黑屋”,以此类推。
就这样,该航空公司86%的恶意黄牛流量被拦截。
尽管这个数据距离完美还有很长的路要走,但拦截的恶意流量每多1%,就可以为航空公司节省无数成本。
。
(4)善与恶的对决。
建跃一秒表示,阿里云WAF目前能做的就是每小时根据最新数据升级算法。
相比之下,传统的“盒子”WAF(每周或每月最多更新一次规则)相比之下显得相形见绌。
作为阿里云WAF的负责人,建跃抓住一切机会给我讲安利云WAF的好处。
归根结底,云WAF的好处可以概括为:“天下第一武功就是快”。
因为WAF在云上,实际上没有“部署”过程,只有“接入”过程,所以无论服务器是否在云上,无论在哪个云上,服务器有多大,或者无论服务器快速增加还是减少,都不会影响WAF的部署速度。
也因为WAF在云端,背后有足够的数据和计算能力。
一旦新的规则生成,用户的数据可以立即重新计算。
无数的好莱坞大片告诉我们,善恶之争往往在一秒钟就决定了胜负。
网络的另一边,不是小绵羊,而是心狠手辣、阴险狡诈的犯罪分子和黑客。
每晚封锁一秒,就能多获得一百张选票。
每晚拦截一小时,就能窃取数千条用户信息。
这不是好莱坞大片,这是残酷的现实。
说到这里,建跃想起了另一件事:曾经有一家保险公司经历过从传统IDC机房迁移到云端的过程。
第一次连接时,他们还是担心云上运行的防护系统,所以决定先使用观察模式。
也就是说,它只报警,不拦截。
他们花了大约两个小时才验证,确实可以拦截之前没有发现的入侵,而且似乎并没有对正常业务造成影响。
我们还会介绍,我们上线的任何一条规则,都会通过历史数据来验证该规则的误杀情况,确保灰度上线前没有问题。
对方见我们比较靠谱,经过简单的灰度测试后,决定全面部署。
(5) 编码员和雕刻家WAF所做的一切实际上都是在描述一个正常人。
我们逐渐通过规则一一框定了他的外貌,然后继续精确地微调。
建跃说。
这大概就像雕塑家的追求。
切肉刀虽然冰凉,却能修饰美丽的容颜。
我曾经是一个无忧无虑的人。
你很少决定自己想做什么。
甚至当我选择计算机科学时,也是我学计算机科学的表弟推荐的。
但只要任务交给我,我就会尽全力去完成。
也许这就是他们给我 WAF 的原因。
对于竞争激烈的安全市场,尤其是群雄混战的WAF市场来说,能够获得今天的市场份额,用建跃的话说,堪称“极致”。
然而,他似乎并没有取得成功的野心。
他每天担心的就是如何提升WAF的能力和用户体验,一脸苦恼。
采访快结束时,建跃对我说:原来我可能和很多人一样平庸、随性。
在阿里云的六年里,小李、慈、云书对我影响很深。
现在我清楚地知道我想要什么。
我越来越坚信,如果一个人有机会做一件人生中具有非凡意义的事情,那才算不虚此行。
互联网正在重塑每个人的生活方式。
在这波浪潮中,暴露出许多严重的安全问题。
仔细一看,站在这个位置的人恰好是我。
如果我努力,付出更多的努力,也许有机会推动整个中国互联网的安全发展。
这对我来说是一种祝福。