【.com原创文章】近日，记者就恶意软件问题专访了Akamai中国企业事业部总经理何铭、Akamai大中华区产品营销经理刘炯。爬虫攻击就进化、危害、如何防御等话题进行深入交流。什么是爬虫？首先解释一下，什么是爬虫（BOT）？BOT是指搜索引擎爬虫，也称爬虫。互联网中的数据是海量的，如何在互联网上自动高效的获取我们感兴趣的信息并为我们所用是一个重要的问题，而爬虫技术就是为了解决这些问题而诞生的。“实际上，40%的互联网流量都是爬虫流量。当然，爬虫也有好坏之分。好的爬虫主要用于网页索引、内容聚合、提取市场或价格信息。恶意爬虫主要用于恶意爬虫，攻击者操纵并利用其进行网页内容搜索、交易欺诈、垃圾邮件、DDoS、撞库等攻击，针对各行各业、各地区、各渠道，组织需要对这些爬虫进行识别和管理，有效防范。”刘炯表示，恶意爬虫是一种自动化的恶意软件，通过远程互联网攻击目标站点，达到商业欺诈的目的，常见的攻击方式包括撞库、盗号、银行卡攻击、库存囤积、套路等。撞库攻击的主要形式，它利用从黑市获取的大量用户数据和账户信息，尝试登录不同的网站获取有效账户，最后将这些账户非法出售给他人。窃取是另一种常见的撞库攻击，是指窃取包括电商、游戏账号在内的互联网账号，这种攻击通常是通过尝试登录或暴力破解等方式获取账号，然后进行信息窃取或进一步攻击。接管账号Akamai大中华区产品营销经理刘炯，爬虫A的进化ttacks回顾爬虫攻击的演变过程，刘炯将其分为四个阶段：一开始，爬虫比较简单，构建单一IP或极少IP的恶意攻击点。此外，针对客户端攻击的恶意软件也比较简单，均采用命令行攻击方式。这个阶段外部浏览器没有cookie值，也没有在脚本中加入可执行脚本。因此，防范这些爬行动物相对简单。企业找到攻击源头后，可以进行访问控制（使用黑名单限制等手段），进而进行防护。第二阶段，随着cookie功能的引入和在浏览器中执行脚本的能力，爬虫利用简单的浏览器进行攻击，因此之前简单的防护手段已经无法识别爬虫。相应的，保护手段需要增加脚本值的验证（包括JS变量的验证）等能力来检测攻击浏览器的真实性。第三阶段，爬虫攻击以真实浏览器为基础，开始模拟人类行为。因此，企业需要进一步的检测手段。例如Akamai的BotManagerPremier（爬虫管理器）产品可以通过键盘敲击、鼠标滑动等操作有效识别爬虫流量。第四阶段，也就是现阶段，特点是爬虫攻击点分布，可以利用更多的僵尸网络发起攻击，这给企业判断爬虫流量增加了难度。其次，爬虫也在模拟更真实的人类行为，因此需要利用机器学习等技术来识别爬虫的攻击检测和防御模式。Akamai中国企业事业部总经理何明，“三年前，我发现大部分中国客户对爬虫没有特别的概念，对爬虫的危害知之甚少。但从2018年开始，Akamai的中国客户基本有了A采取了多种反爬虫措施，可见国内企业对爬虫危害的认识迅速提高。何明还回忆并举了一个例子，“很多年轻人都喜欢买限量版的鞋，品牌网站需要通过抽签的方式排队。但是黑客可以利用爬虫，瞬间下单所有的限量版鞋，从而转卖。”类似的案例还有很多，比如侵占抢占库存，甚至发动DDoS攻击封网，很多小网站都经受不住，所以2018年以来，各行业越来越重视爬虫管理”与此同时，何明还注意到另一个现象：在更加重视恶意爬虫管理的同时，许多网站开始引入良性爬虫，嵌入搜索引擎，以方便商品销售。“这也是爬虫管理市场值得关注的一个方向.我们需要停止恶意爬虫并释放良性爬虫。一刀切封杀所有爬虫，会影响企业的销售和业务。”爬虫攻击数量居高不下，手段日趋复杂对于爬虫攻击的趋势，刘炯告诉记者，随着每天50多条的配送Tbps的网络流量，Akamai对互联网的攻击流量有很好的可视性，尤其是对爬虫攻击趋势的研究。攻击次数居高不下，在报告统计的近两年时间里，Akamai发现的攻击次数超过850亿次，日均攻击量达1.2亿次。二是攻击手段越来越复杂，攻击者利用使用僵尸网络发起分布式攻击的多合一工具。鉴于当前API协议的广泛使用，攻击者利用API的自动化特性，将API作为主要的攻击手段。Akamai发现近20%的凭证滥用攻击涉及基于API的登录。三是金融业成为重灾区。据Akamai称，高达75%的针对金融服务行业的撞库攻击直接针对API。何明说：“事实上，各行各业都会受到爬虫的攻击，而零售业是受爬虫攻击最严重的行业之一。此外，爬虫攻击的主要目标包括媒体、金融、酒店和旅游。在零售行业，服装、电商门户、百货公司网站更容易被爬虫攻击。”Akamai和PonemonInstitute的联合研究表明，由爬虫引起的“撞库”攻击每年可为企业带来高达270万美元的损失。爬虫攻击给企业带来的损失可见一斑。Akamai一直在针对爬虫攻击采取行动。那么，如何应对爬虫攻击呢？何明认为：“对于爬虫的管理，企业首先要做的就是识别，包括规则和策略的制定。”以电子商务行业为例，电子商务网站的建设相对复杂。一方面，需要第三方爬虫的支持，实现引流，让用户接入库存，保证产品在库存充足的前提下售出。同时，还要防止竞争对手恶意爬取其库存信息，窃取库存，影响对外销售。因此，企业IT团队不仅要识别恶意爬虫并阻断，还要识别良性爬虫放行，做好DDoS攻击防护。随着爬虫攻击方式的演进，Akamai的爬虫管理产品和解决方案也在不断升级迭代。就在3月份，Akamai升级了爬虫管理产品，全面提升攻防能力。具体来说，实现了越来越精准的爬虫检测方式，增加了POW（ProofofWork）挑战检测方式；基于人工智能的威胁评分机制，可以根据评分实施灵活的防护策略；增加了更多场景的支持，尤其是跨域场景。为了让跨域请求的检测更加准确，Akamai定义了一种新的攻击检测方法，从而扩展更多的应用保护场景；此外，实现了页面性能与真实用户监控（RUM）检测产品集成，分析判断爬虫对业务性能的影响，进行可视化管理。2月，Forrester发布了“ForresterNewWave?：BotManagementAssessment,Q12020”报告，并将Akamai评为“领导者”。显然，这是对Akamai爬虫管理能力的充分肯定。目前，无论是产品特性还是市场占有率，Akamai都处于爬虫管理领域的前列。从最初的单一IP攻击到模拟浏览器和人类行为，爬虫的攻击方式在不断变化。鉴于此，Akamai针对爬虫有多种检测方案，包括IP拦截、速率控制、cookie和Java参数检测、用户行为深度分析等。至于爬虫缓解计划，除了最基本的监控和拦截外，Akamai还会实施限速、延迟和疏导。“有些公司希望在一两天内管理好爬虫，这是不现实的。但是，爬虫管理方案的部署速度取决于行业内安全厂商的技术积累和经验积累。高效的爬虫管理需要长期的积累的经验和能力。一旦客户选择了Akamai，我们就可以立即启动筛选模式、预警模式，快速进入策略的制定和防护的启动，这是Akamai引以为豪的地方。”何明说，根据一位电商客户的反馈，他们在部署了Akamai的爬虫管理方案一段时间后，发现他们网站上的大部分流量都是爬虫流量，这是他们之前没有注意到的。另外，在部署Akamai解决方案之前，爬虫攻击流量的检测率在10%左右，但是在部署之后，识别率达到了99%左右。综上所述，可以看出由于其固有的边缘属性和优势，Akamai的爬虫管理解决方案可以很好的应用于多种环境，包括用户本地数据中心和多云环境下的保护场景。Akamai的爬虫保护解决方案不是单点的解决方案，而是分层的、全栈的保护解决方案，从DDoS和网页防护到爬虫管理，甚至API攻击，Akamai基于边缘安全能力，提供一整套防护解决方案，帮助企业抵御当今最复杂的网络攻击。【原创稿件，合作网站转载请注明原作者和出处为.com】
