城市券，拒绝恶意爬取！作为提振经济的重要抓手，城市消费券的作用不言而喻。公开数据显示，2022年，全国累计发放消费券超过100万亿张，在各地拉动消费过程中发挥了举足轻重的作用。但仔细分析各地核销率就会发现，很大一部分消费券可能落入了不法分子的腰包。根据鼎祥近日发布的《城市消费券安全调研报告》（以下简称《调研报告》），各地消费券的核销情况有所不同。6月24日，杭州发放2022年第二期数字消费券，4天后，核销率不到一半，为49.1%。核销率也徘徊在50%左右，还有6月份湖北首批“回购湖北”消费券。此外，郑州市5月份开具的餐饮消费券的验证率仅为45%。总体来看，各地平均核销率超过80%。但从目前各地公布的核销率来看，核销率并不理想。《调研报告》显示，在15个地区中，只有深圳、成都和宁波的核销率在90%以上，其余城市的核销率都在50%到70%之间徘徊。不难猜测，未经核实的消费券可能很大程度上成为了犯罪团伙的牟利工具。同时，由于发放消费券的平台主要在支付宝、微信、云闪付、建行人寿App等各大平台发放。各大平台本身就具有很强的业务安全和风控能力。从各地优惠券发放规则来看，获取优惠券的用户基本需要完成实人认证并开通相应的在线支付功能。已经有很好的风控能力。显然，常规的批量注册和软件抢劫已经不适用于黑灰产品，那么黑灰产品是如何批量盗取消费券的呢？利用机器爬取获取大量消费券信息《调研报告》表明，黑灰产为绕过消费券发放规则，招募了大量真实身份、真实账户的“刷手”，然后通过社区，下达任务，组织统一运营，统一变现。从目前收集到的信息来看，现阶段黑灰产品在消费券兑现的整个链条中扮演着中介的角色，赚取相应的佣金，主要是通过人工和机器抢单。黑灰制作买券的两种方式13播放·2认可视频其中，人工抢券利用爬虫抓取了大量信息。具体流程如下：第一步，人员招聘。黑灰转在国内外各社交平台建立消费券群，发布隐性广告信息，吸引“刷手”入群。另一方面，需要套现的消费者也可以通过各大社交平台的关键词搜索，快速找到对应的优惠券套现群。第二步是收集信息。在招募到一定数量的参与者后，黑会转利用人肉搜索或机器人爬虫等方式，在互联网上抓取政府发放消费券的发放信息。第三步，梳理消费券，发现商家漏洞。对于收集到的优惠券信息，黑惠根据优惠券发放时间、地点、应用发布、优惠券金额、使用方式等进行统一分类整理，分析优惠券领取和使用过程中存在的业务漏洞，从而方便抢劫。第四步，下达任务。黑灰蝉通过社区发布抢券任务，引导刷友在规定时间内集中抢券。这种行为不仅破坏了各地发放消费券的初衷，也扰乱了市场公平，造成了极其恶劣的影响。那么，如何防止城市消费券被恶意爬取呢？鼎祥在机械工业出版社的《攻守道—企业数字业务安全风险与防范》一书中发表的《防范恶意爬虫的有效措施》认为，网络恶意爬虫会带来数字资产丢失、用户隐私泄露和正常业务运营中断等三大危害，并将“恶意网络“爬虫”被列为十大商业诈骗手段之一，另外，爬虫开发和制作的门槛较低，很多技术论坛社区都有关于爬虫开发、研究和使用的介绍，还有很多市面上专业的爬虫书籍，只要掌握Python编程语言，按照论坛、社区、书籍提供的爬虫教程和实战案例，同时根据平台、网站的API接口信息，和爬虫技术爱好者分享的应用，可以快速搭建一套专门的爬虫工具。基于爬虫了解城市消费券的背后，丁香认为可以从以下几个方面入手：加强平台风险环境监测。定期检测App运行环境，有效监控拦截代码注入、hook、模拟器、云手机、root、越狱等风险。确保客户端安全。应用程序和网页可部署H5混淆保护和终端安全加固，保障客户端安全。通信链路经过高度加密。Web端的JS和移动端的SDK需要加固和保护，增加攻击者逆向的难度。在策略层面，构建基于场景的反爬策略。例如设备关联IP数量异常、爬虫IP黑名单封禁、识别爬虫风险设备等，处置层进行风险分层，下达不同的处置指令。例如，当系统判断为无风险/低风险时，进行放行；如果系统判断风险为中等，则需要进行人机验证；当系统判断为高风险时，会立即封禁。在数据分析汇总层面，根据数据报表进行监控回溯，查看历史触发情况，进而优化升级反爬策略。在业务端，针对批量爬虫的风险特性，可以对接业务安全风控系统。同时，将终端采集的设备指纹信息和用户行为数据传输至风控系统，通过在风控系统中配置相应的安全防控策略，对风险进行有效识别和拦截。1）设备终端环境检测。识别客户端（或浏览器）的设备指纹是否合法，是否存在注入、hook、模拟器等风险。通常，大多数批量作弊软件都具有以上风险特征。2）行为检测。实现基于设备行为的策略部署和控制。监控同一设备高频查询、同一IP高频查询、同一IP段重复高频查询请求。3)列表数据库维护。统计依据风控历史数据，对行为异常的账户和IP段进行标记，存入相应的名单数据库。对于list表中的数据，在制定策略时进行了分层，适当加强了控制。4)外部数据服务。考虑手机号码风险评分、IP风险数据库、代理邮件检测等数据服务，有效识别和阻断风险。同时，验证码和设备指纹也是重要的防爬手段。验证码可以防止恶意爬虫盗用和窃取数据，防止个人信息和平台数据泄露。当某个设备或账号访问次数过多时，请求会自动跳转到验证码页面，输入正确的验证码后才能访问网站。但设置复杂的验证码会影响用户操作，带来负面体验。分秒必争，实时升级第五代验证码黑灰生产反制设备指纹及时识别注入、挂钩、模拟器等风险，风控引擎实时识别和识别注册、登录、收款等操作风险判断；媒体构建专属风控模型，构建多维度防御体系，在不影响正常用户体验的前提下，有效阻断各类恶意爬虫风险。设备指纹进阶功能【商业安全讲义第4期04】——————《[城市消费券安全调研报告]免费下载(https://www.dingxiang-inc.com...)》:免费下载商业安全产品：免费试用
