万万没想到，我的“5月1日”特价票是从一只爬虫手里买到的。有些人的“五一”假期比法定节假日来得早，比如雷锋网的编辑们。..隔壁的媒体同事，他居然跟我说他没有上班的打算，脑子先于身体打开了休假模式。然后他拿出手机，展示了一把自己抢到的廉价机票。哦，如果你想说特价机票，那是我的意思。让网络安全科普作者小李分析一下特价机票到底是怎么来的！我买在手上！爬虫站座发布“关于调整2019年五一假期调整”的通知几分钟后，各大航空公司B2C网站、旅游网站的机票查询量激增，国际航班增加10个次。暴涨的机票查询数据背后，既有快乐的人，也有不法分子操纵的恶意“爬虫”。原来，部分航空服务代理人通过“爬虫”在航空公司B2C网站或官方App等平台上非法抓取客票信息，再非法转卖给他人牟利。为了搞清楚这个恶意爬虫是如何爬取特价机票的信息，进而变成双向贩卖者牟利的，小编特地咨询了有反爬取实战经验的公司鼎翔。据说最近他们协助警方破获了一起爬虫案。涉案人员山东某机构专门抓取各大航空公司的票务数据，转卖给其他中小代理（该机构业务已停业）。他们是如何开启神（非法）行动的？一些代理商利用“爬虫”爬取机票信息，然后利用虚假身份信息订票，但不付款。然后，在航空公司允许的订票期限内，将这些机票转售给真正需要购票的用户。在转售之前，这导致一些机票没有售出，但是当用户查询航空公司时，却显示已售罄。这种行为被称为“虚假占座”。恶意爬虫如何“长得像”来判断“入住”的不是普通用户而是爬虫党呢？恶意“爬虫”具有以下特点：1、访问的目标网页比较集中：“爬虫”代理目标明确，主要爬取班次、价格、数量等核心信息，因此只浏览和访问几个固定页面，不访问其他页面。2、查询、订票等行为非常有规律：由于“爬虫”是程序化操作，按照预先设定好的流程进行访问，所以表现出没有思考，但非常规律、有节奏、持续的行为。3、同一台设备上的大规模访问和操作：“爬虫”的目的是在最短的时间内抓取最多的信息，因此同一台设备会产生大量离散的行为，包括访问、浏览、查询等4、访问源IP地址异常：一般情况下，用户查询、购买时，用户的IP地址是比较稳定的。如果是“爬虫”或“伪占”，IP源地址呈现不同维度的聚合，同时浏览、查询、购票等操作不断改变IP地址。5、设置UA模拟浏览器，频繁使用代理IP：很多“爬虫”程序伪装成浏览器访问，比如程序头或UA中有python-requests/2.18.4这样的固定字符串默认;并通过购买或租用云服务、改装路由器、租用IP代理、经常更换代理IP等方式进行访问。6、运行多集中在非营业时间：“爬虫”程序的运行时间多集中在无人值守阶段。此时系统监控会有所放松，占用平台带宽等资源较少，爬虫密集的批量爬取不会影响带宽和接口。以下是大象反欺诈中心的监控，凌晨1-5点是恶意“爬虫”的高峰时间。“虚假占座”损害了谁的利益，似乎只是为了阻止普通用户购票。对航空公司有影响吗？（谁不卖给？）当然！想一想，首先，恶意“爬虫”的虚假身份信息从何而来？是否存在用户信息泄露？其次，这种虚假占座浪费航空公司带宽资源，白白消耗航空公司查询费用，扰乱航空公司业务。普通手术。第三，更重要的是，由此带来的订舱量波动，导致航空公司收益管理系统算法误判，调整不符合实际的运价，损害了用户权益和航空公司的声誉。平台。也就是说，从爬虫小贩那里购买特价机票是一时的享受，但从长远来看，买单的还是普通用户。雷风网注：本文核心观点及分析来自微信公众号“鼎象商安”，作者：潇湘，雷风网（♂：雷风网）授权转载改编。指导原文：《你购买的“五一”机票 可能是“二手”转售》。本文转载自雷锋网。如需转载，请在雷锋网官网申请授权。
