介绍：CDN通过部署分布在全球的边缘服务器，将各种互联网内容缓存在靠近用户的边缘服务器上，从而降低用户访问时延，大大减少穿越互联网核心网的流量.使用CDN已经成为互联网业务的必然选择。企业边缘应用CDN面临的挑战是通过在全球范围内分布式部署边缘服务器，将各类互联网内容缓存在靠近用户的边缘服务器上，从而降低用户访问时延，大大减少穿越互联网核心网的流量。使用CDN已经成为互联网业务的必然选择。传统的网站保护基本上是保护源站。客户可以通过购买防火墙、WAF等产品来保护自己的核心业务内容免遭恶意窃取。但是传统的保护方式不能完全满足业务流量通过CDN分发的场景：部署位置在源站前，主要是保护源站。在CDN架构中，页面基本都缓存在CDN上，爬虫可以直接从CDN上爬取用户敏感的业务数据。识别方式主要是在用户页面中嵌入JS。这种方式本质上是修改了用户的页面，侵入性强，只能适配web服务，对api服务不生效。处理方法一般通过频率控制来限制高频IP等特性。这种方法很容易被绕过。现在的爬虫基本都是采用IP代理池的方式随机修改请求的头部，很难发现特征。频率控制。CDN目前承接了主站的大量业务，同时还要保证业务浏览和交易体验，防止内容被恶意窃取。越来越多的业务数据缓存在CDN的边缘服务器上，边缘安全的权重越来越高。基于边缘云的机器流量管理应运而生，应对CDN边缘安全风险，实现用户应用数据安全保护。边缘云机器流量管理的实现及优势基于CDN边缘节点的机器流量管理分析处理流程如下图所示：互联网访问一般分为正常用户访问、商业搜索引擎访问、恶意爬虫访问.边缘提取请求消息特征，根据消息特征识别请求类型，在边缘阻止恶意爬虫访问，保护CDN缓存资源不被恶意爬取。机器流量管理的优势在于：基于CDN边缘网络架构实现机器流量管理能力，通过请求报文特征识别域名请求类型，区分正常请求和恶意机器请求，帮助用户管理自己的请求，以及阻止恶意请求询问。通过识别域名的请求类型，实时标记请求的消息类型，非常直观的展示当前业务请求中的消息类型。客户可以直观的感知其网站访问类型的分布，并对异常的文本类型进行处理。通过处理数据包类型而不是IP地址，只要恶意请求的数据包类型保持不变，攻击者就无法绕过随机头字段或使用二次拨号代理IP池。机器流量管理实际结果验证双11业务场景下，机器流量管理识别所有访问主站详情页的流量，并对Bot流量进行详细分类。核心策略是发布搜索引擎等常规商业爬虫，限制或阻断恶意爬虫。通过分析详情页的流量和请求的行为特征，分析出近40%的请求是恶意访问。双11前，通过启用处置策略，成功帮助主站某业务拦截爬虫流量70%以上。下图是启用处置前后的流量对比。蓝色线是未启用处置策略的流量趋势，绿色线是启用处置策略后的流量趋势。拦截效果非常明显，不影响实际业务运行。双11当天，请求的访问特征基本没有变化，最终拦截了数亿个恶意请求、数百万个恶意IP、数千万个恶意爬取的商品ID。CDN机器流量管理承担了更多对主站业务的保护，发现部分爬取主站内容的请求可以通过保护策略，即爬取请求行为发生了变化。通过在线突增qps分析，定位变异爬虫主要使用IE浏览器引擎，源IP大量使用二次拨号代理IP，具有明显的商业爬虫特征。报告后，迅速形成应急预案，对异常类型进行快速处置。版权声明：本文内容由阿里云实名注册用户投稿，版权归原作者所有。阿里云开发者社区不拥有自己的版权，也不承担相应的法律责任。具体规则请参考《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如发现本社区涉嫌抄袭内容，请填写侵权投诉表进行举报，一经查实，本社区将立即删除涉嫌侵权内容。
