前言2010年以来，整个互联网进入了一个全新的时代，尤其是移动互联网的飞速发展，给用户带来了随时随地享受金融服务的便利，同时，也给一些不法分子可乘之机。随着“黑灰产业”产业链的发展和成熟，互联网黑灰产业不再局限于半公开、纯攻击的模式，而是悄然转变为一种比较普遍的网络利用方式机器人（网络程序或自动化工具）以抓取网络数据作为赚钱和商业竞争的手段。更有什者，利用网络机器人进行取证、刷单、恶意注册等行为逐渐盛行。图12互联网应用攻防2.1互联网应用安全防御随着业务规模的快速发展和金融与科技的深度融合，银行各类互联网应用不断壮大。在提高效率、为客户带来便利的同时，也不断考验着银行的安全防御体系。从传统的安全领域到业务层的安全防范也在不断地变化和演进。传统安全防御：从抗DDoS、网络防火墙、IDS（入侵检测系统）、全流量检测到WAF（应用防火墙），传统安全系统基于网络协议栈提供全方位的防护。业务层安全防御：在一些业务密集的场景，比如支付欺诈的筛查、借贷平台申请欺诈的筛查，业务方需要建立完整的业务层防御体系。随着安全防御手段的不断变化，新的问题也在不断涌现。面对新的问题，传统的防御体系似乎力不从心。网络机器人的行为不是传统安全系统的防御对象。从传统安全系统的角度来看，网络机器人的访问行为与正常人无异，无法有效应对。以解决业务安全为目标的业务级安全防御，无法看透网络机器人的行为特征。业务层的安全防御是面向业务层用户的行为，无法从网络层捕获网络机器人完整的访问上下文，无法有效应对网络机器人的暴力访问。2.2Bot的现状及影响Bot是按照一定的规则自动抓取网络信息的程序或脚本。随着互联网的快速发展，网络机器人越来越普遍。50%的网络流量来自网络机器人，网络机器人分布在各种网站，如票务、电子商务、招聘、金融、政府、社交网络等。网络机器人带来各种负面影响：网络机器人是程序或脚本，按照一定的规则自动抓取网络信息。随着互联网的快速发展，网络机器人越来越普遍。50%的网络流量来自网络机器人，它们分布在各种网站，如票务、电子商务、招聘、金融、政府、社交网络等。网络机器人带来各种负面影响：图2浪费网络资源，没有利益转化；暴力流量降低系统稳定性；影响客户正常访问，增加运营成本；未经授权二次使用网站数据影响数据发布的权威性；爬取商品信息、价格信息、不正当竞争；混淆用户生态，影响营销分析。2.3互联网机器和互联网机器人（Bots）的应对与防范应对互联网机器人，首先要了解互联网机器人。根据网络机器人原理，可分为普通网络机器人和智能网络机器人。普通网络机器人通过模拟网络请求直接获取网页资源，而智能网络机器人则通过浏览器获取网站资源。智能网络机器人与正常人的访问行为更相似，识别和防范难度更大。图3被网络机器人侵权的网站也试图采取反制措施，但往往达不到预期的效果。依靠传统的基于防火墙拦截的安全系统是无法奏效的。这种响应方式需要持续投入人力分析日志，响应速度不够；规则简单，容易被绕过；简单粗暴的IP拦截会造成严重的误伤。业务层的关键节点都嵌入了验证码，是不会起作用的。业务层缺乏网络机器人访问的全量信息，不足以解决问题；业务层解决网络机器人问题成本高，与业务层强耦合，维护困难；用户验证码没有区别，用户体验差。图4应对网络机器人的暴力访问，一个有效的解决方案必须能够同时兼顾多个方面。基于网络全流量、大数据量、长期行为分析做出决策；对业务系统影响小，与业务层松耦合；网络机器人行为的实时识别和实时控制；动态预防，持续有效。3、构建基于设备指纹的网络安全防御体系从成本、效率和收益的平衡点出发，结合设备指纹、人机识别和机器学习技术，构建机器防御体系，计算各项行为指标；实时决策引擎将指标与反机器人模型进行匹配，得到决策结果，与访客信息、设备指纹一起存储在缓存中；业务链路中的管控组件（如WAF或其他风控组件）读取缓存信息，决定放行还是拦截。图53.1机器防御系统工作流程访问者发起对银行官方网站的访问。机防流镜像组件复制网络请求发送给Flowcube（流式大数据平台）计算各种行为指标。实时决策引擎将行为指标与反爬虫模型进行匹配，得到决策结果并存入缓存。串联在主访问链路上的管控组件（如WAF或其他风控组件）可以根据访问者信息和设备指纹从缓存中读取决策结果，决定是否放行或采取拦截措施。3.2设备指纹技术设备指纹是网络自动化攻击防御方案中非常重要的技术。无论是普通网络机器人还是智能网络机器人，都必须依赖相关设备才能运作。设备指纹技术可以采集设备（如PC或移动设备）的多种属性，按照一定的算法生成设备唯一的“指纹”。通过识别独特的设备并结合某些行为分析规则来识别网络机器人。图6.设备指纹采集主要有3种方式：主动采集技术精度高，但抗篡改能力弱，稳定性差；被动采集技术可以通过强大的抗篡改能力保证高稳定性，但准确性较低。结合主动和被动采集技术，通过浏览器、设备、网络协议、程序等四维采集要素的采集，通过大数据运维不断优化各采集要素的置信区间，并基于条件概率、联合概率、置信度传播等数学理论将计算出的最终置信度与信任阈值相匹配，保证了极高的准确性，显着提高了稳定性。3.2.1准确度通过主动采集元素和OSI网络协议全栈被动采集元素的结合，使用JS脚本、手机SDK、小程序组件准确识别设备；通过多元素采集，结合条件概率、联合概率和置信度算法可以唯一识别设备。在大多数场景下，它可以为每个移动设备生成唯一的设备指纹；可以为每个PC浏览器内核生成相同的设备指纹；可以保证同一个指纹稳定对应同一个设备。3.2.2稳定性设备指纹稳定性是指同一设备的唯一标识，不随空间和时间而改变。指纹识别采用多维度、多数据比对，通过多因素置信度综合决策算法，有效降低因局部维度篡改或采集异常对设备指纹准确性的影响，可靠保障刷机、升级甚至被黑客软件修改后，设备指纹都不会改变。3.2.3安全性设备指纹的网络传输采用外码加密，加密算法动态变化，有效期灵活可配置，有效保证了设备指纹的安全性。设备指纹服务提供全面的前后端安全保护。SDK端：包括IOS/Android/Web/WapSDK代码保护代码动态混淆：动态语义层混淆，符号混淆结合静态库集成采集元素消息加密，确保设备元素安全传输获取请求参数加密Post请求体加密接口call签名验证算法动态更新，消息防篡改。有效防止重传和盗用支持安全传输层协议设备指纹服务，具有动态防欺诈功能，内置简单规则准确性和稳定性是衡量设备指纹生成技术先进性的核心标准，准确性是设备指纹技术产品使用的前提。在实际业务场景中，往往以精度优先的方式将最稳定的识别设备作为最优选择。3.3人机识别技术人机识别是应对智能网络机器人的一项重要技术，通过分析判断点击行为，识别程序或自动化工具的点击行为。3.4机器学习是一种基于时间窗移动的动态数据快速处理技术，可以支持计数、求和、平均、最大值、最小值、方差、标准差、K阶中心矩、递增/递减、最大连续递增/递减、唯一性判别、收集、过滤等分布式实时计算模型。图83.5规则平台网络自动化攻击防御的所有策略都可以通过规则平台来实现。使用规则平台，可以制定的规则类型包括：设备信息规则、代理IP规则、异常行为规则、黑白名单规则、UA识别规则。图94.总结通过在网站页面或手机APP中集成设备指纹脚本，可以收集物理设备和终端环境的多种信息，快速生成唯一的设备识别码，常见的非法改机框架和软件产品、伪装软件，以及虚拟机、模拟器、代理检测等，实现针对性识别，建立客户身份与所用设备的对应关系，判断交易可信度，实现互联网风险防范的自动化，从而准确定位风险，控制风险，减少可能的损失。为解决不同业务场景下网络机器人越权访问和信息爬取等问题，采用高效的流式大数据处理引擎实时处理海量业务请求，并结合不同业务场景的特点，采用不同的定制业务异常行为检测规则，辅以设备指纹技术、代理检测技术、人机识别技术，实现多层次、多维度的网络机器人识别与防范。为各业务部门提供支持和服务，实时、非感知地识别和拦截机器访问行为，保护我行业务和用户的敏感信息不被泄露，维护银行的商业利益和声誉，提高用户服务质量和满意度，意义重大。
