大数据时代，数据是市场竞争的重要资源，利用网络爬虫恶意爬取数据的事件时有发生。今年上半年，某银行电子结算中心承建的在线征信平台“旭融”遭到恶意爬虫的疯狂“洗劫”。某金融征信平台疑被爬虫疯狂“抢劫”。率和满意度，已接入207家银行机构13000个网点和155万家注册企业。根据相关规定，“XX融”平台向辖内商业银行??免费提供信息查询服务，但仅允许商业银行通过人工接入方式一一进行信息查询。但“XX融”平台技术人员发现，每天早上系统后台都会出现大量查询请求，并持续到下半夜，但不清楚是谁在查询。显然，这不是正常的用户行为，更像是使用自动化工具的恶意爬虫。一旦被恶意爬虫盯上，平台很可能会遭遇敏感数据泄露，导致大量企业和用户的利益受损，影响金融机构的公信力。此外，爬虫的大量恶意数据请求会持续占用业务服务器的性能，影响平台的正常运行，导致用户体验下降，给平台的安全运营带来极大挑战。为此，“XX融”平台迅速请来了救星——业内知名的Bots自动攻击防护专业厂商睿数信息，誓要抓到潜伏在暗处的恶意爬虫。锐数信息的“反爬虫”战锐数信息随即为“XX融”平台部署了一件“反爬虫利器”——锐数动态应用保护系统Botgate。该系统以睿数信息独创的“动态防护”技术为核心，不基于任何特征、规则和阈值进行防护，能够有效识别和防御自动化攻击。具体有4大技术能力：l动态令牌：对当前页面合法请求地址授予一定时间段内有效的动态令牌，为每个客户端生成不依赖于设备特性的唯一标识符。令牌的动态变换，加上客户端的唯一标识，像身份证一样难以伪造，可以阻断非法的自动化攻击请求。l人机识别：通过动态令牌、客户端环境检测、客户端行为识别等方式，验证浏览器/APP的真实性，检查动作的真实性，实现访问客户端的人机识别，从而阻止自动攻击行为。l代码混淆封装：灵活运用Web代码混淆、JS混淆、前端反调试、cookie混淆、中间人检测等多种功能，对页面逻辑、代码、关键元素进行混淆封装内容等动态干扰自动化攻击，防止业务被反向分析。l威胁洞察：利用独特的全业务威胁感知和智能分析技术，以及内置的通用自动化威胁模型，准确看到细粒度的机器人行为，为准确判断自动化攻击提供有效的威胁数据。基于动态应用防护系统Botgate，睿数信息很快发现，“XX融”平台的房产和备案系统一个月内遭遇超过570万次自动恶意爬虫，其中正常请求近10万次。1/4。进一步分析发现，恶意爬虫为了登录该账号，采用弱口令、暴力破解等方式，并使用大量自动化工具非法查看敏感数据。检测数据显示，爬虫账号多达172个，异常IP90个。其中与简单脚本相关的IP有90个，与重放攻击相关的IP有72个，与破解行为相关的IP有48个，与调试行为相关的IP有25个，与高级自动化工具相关的IP有13个。从非工作时间的业务查询行为来看，在0:00-6:00这段时间，有加载产权检索页面、发起产权检索查询、查询产权检索历史记录等行为。查看产权搜索详细信息。总体而言，“XX融”平台已被恶意爬虫“洗劫”，面临账号滥用、自动化工具滥用、非工作时间高频访问、业务逻辑逆向分析、滥用等多重业务安全问题的敏感数据。对此，睿数信息根据“XX融”平台的业务需求，定制了灵活的防护策略：不仅可以自动拦截异常IP和行为，按比例拦截，还可以延迟频繁的访问请求，或发起secondary动态质询还可以限制特定IP在一定时间后访问等，在保护数据安全的同时，不会影响业务的正常运行。金融爬虫整治需要“动态安全”新技术，“旭融”平台爬虫事件并非孤例。恶意数据爬虫攻击在自动化攻击请求中占比最大。金融、互联网、政企、医疗、教育等行业都饱受持续爬虫访问之苦。锐书资讯《2022 Bots自动化威胁报告》显示，2021年，锐书资讯检测到的恶意爬虫攻击次数将达到1000亿+以上。近年来，随着互联网金融服务体系的快速发展，越来越多的金融服务建立在Web、H5、App、API、微信、小程序等各种业务渠道上，应用的风险暴露也随之增加。各类爬虫攻击也乘虚而入，增加了企业数据泄露的风险。据锐数信息技术专家介绍，在金融行业，交易、支付、信贷、营销等业务场景是爬虫攻击的重灾区。比如爬取企业信用报告，窃取用户个人网银、交易支付记录、信用卡账单等，都是为了获取敏感数据获取高额利润。虽然爬虫存在巨大的业务安全隐患，但为何金融行业的恶意爬虫屡禁不止？睿数信息技术专家表示，爬虫技术多年来不断演进，不仅精通各种代码语言，甚至运用机器学习等AI技术，不断挑战现有防护体系，带来了三大防护难点：一是，恶意爬虫使用大量先进的自动化工具，可以不断变换来源，以多源低频的方式绕过传统规则库；第二，恶意爬虫可以伪造UA信息，不断改变环境信息，欺骗传统特征第三，恶意爬虫使用高度拟人化的武器库。通过资源链接和相互调用，发起模拟真人的操作行为，混淆现有风控规则。睿数信息技术专家指出，爬虫技术的快速迭代升级，导致传统安全技术和风控技术依赖规则和特征的无能为力。金融机构必须寻求新的技术方案来对抗新的爬虫技术。为此，“动态安全”作为颠覆传统安全被动防御的新技术，创新性地提出了动态防御和主动防御的概念，成为新时代反爬虫的理想选择。作为“动态安全”技术的先行者，睿数信息推出的第一款产品是“Botgate动态应用防护系统”，因为它可以高效识别各种已知和未知的伪装成正常行为的自动化攻击，并能够进行有效的阻断防护，Botgate可以算是一个强大的反爬虫工具。此外，睿数信息还融合“动态安全”技术和AI技术，涵盖机器学习、智能人机识别、智能威胁检测、全息设备指纹、智能响应等AI技术。终端所有请求日志全量接入，持续监控分析流量行为，准确定位攻击源头，更深入分析挖掘潜在、更隐蔽的攻击行为，更精准持续对抗自动化攻击带来的攻击。恶意爬虫。结束语金融服务数据正受到前所未有的关注，数据争夺引发的安全对抗也愈演愈烈。面对恶意爬虫技术的不断升级，金融机构迫切需要转向以“动态安全”为核心的新型安全技术，提高自动化工具的访问识别能力，提升自身系统的数据安全能力，以及建立防止数据爬行的铁墙。
