当前位置: 首页 > Linux

浅谈如何利用ip数据辅助风控和安全系统

时间:2023-04-06 19:46:58 Linux

在互联网时代,ip在网络安全和风控领域一直占据着最重要的位置,主要有以下几个因素:1.所有网络请求会带上ip信息,自然就成了访问者的身份。2.由于ip管理和分配严格,很难伪造。虽然会有特工、肉鸡等隐藏踪迹。但在大多数情况下,ip数据的真实性是可以信任的。3、由于ip属于网络层,很容易被封杀。现有的各种网络安全和负载均衡设备和软件都是以IP为对象进行跟踪和管理的。因此,常见的攻击防范和风控都会将IP作为用户身份进行分析处理:1.常见IP分析方法(1)IP客观属性目前IP分配由专门机构或官方统一分配管理,因此有许多客观准确的属性供参考:1.归因。目前每个ip的归属地会在短时间内保持固定,可以用来判断请求源的大概位置。A。归因数据目前有免费和商业服务。也可以参考这个toyexample(简单搭建适合风控系统的IP库)搭建自己的ip库b。归属的变化相对更为频繁。在数据来源选择方面,需要寻找更新更频繁的c。现在3/4G移动出口会带来混乱,移动上网的ip可能只能反映手机卡的归属,所以要小心这部分数据2.隶属机构。大型机构申请的固定IP都需要绑定信息,从ASN数据中可以得到一些线索。比如我们可以通过这个来判断这个IP是属于公有云平台还是属于教育网。3.绑定域名。可以通过DNS查询域名相关的ip。同样的,有些ips可以逆向找出关联的域名。A。一个典型的应用是通过ip查出大型搜索引擎的ip,防止误杀。但是,它只适用于google、bing、baidu等大型搜索引擎来查找域名。其他国内搜索引擎都不够用。4.其他。还有一些其他的属性,比如是否属于手机基站等,可以通过其他方式获取。这是一个例子。我们通过系统分析发现了一个可疑的IP。IP的属性、VPS信息、公有云平台信息都是IP的客观属性,可以辅助我们进行决策。事实上,似乎最常见的攻击来自云服务器。直观来说,普通用户不应该通过公有云平台访问网站。所以有时候,如果发现客户ip属于公有云平台,可以直接将这个请求设置为高风险。(2)IP主动检测属性除了一些客观属性外,ip还可以通过主动检测进一步了解:是否是邮件服务器。是否是Web服务器。是否是vpn服务器。是否是代理服务器。这里可以通过包括端口扫描在内的一系列主动检测和试用技术获取信息来辅助判断:对于普通个人用户或者出口ip,不会有对应的服务绑定到ip上;否则,很大的概率是机器行为。目前互联网上很大一部分流量是机器行为,所以这条信息可以起到很大的人机判断作用。但现在有一些例外。一些流氓家庭路由器可能会开放一些端口和服务,但这类用户本身就是高危来源。(3)IP行为ip的属性准确度比较高,但是不能覆盖所有场景,所以有时候需要根据ip的相关行为进行判断:该ip的请求是否有注入,crash,ddos、漏洞扫描如网络攻击行为,该IP的用户是否有刷单、恶意诈骗、被套等风控相关信息,以及用户名、设备指纹等,如果发现某个用户或设备上有很多用户,很可能会阻止该用户和设备;反之,当某个IP上有大量用户或设备时,也是风险提示,但必须排除组织egress等属性的影响上图是某个IP上的用户行为。可以看出,该操作是通过定时切换账号进行的,这样松散的攻击就可以以IP为纽带,方便识别。4、IP的属性还可以和用户行为结合。常见的分析方法包括识别用户常用的ip,以及用户是否在短时间内经历了较大的地域转移(通过比较使用不同ip的归属地)5.更复杂的分析包括使用ip、用户、设备成对关联信息可以勾勒出网站用户之间的关联网络和用户之间的资金流向,在反洗钱和识别复杂欺诈行为方面具有重要作用。(4)IP历史行为辅助??通过对自己网站的用户行为分析,可以发现大部分的有害访问,但仍存在以下不足:1.除少数巨头外,大部分网站数据量大小,这还不够做一个完整的分析2.需要很大的技术和资源投入,一般企业无法承受。名单弥补了这个不足,这些黑白名单都是来源于IP在别人网站上的历史行为。但这种做法也存在一些缺陷:相对而言,冒险行为与时间、场景密切相关,因此将他人列入黑名单未必适合所有人,即使这个“他人”是个巨人。它值得信赖吗?大量IP与用户之间没有强绑定。另外,下一节会提到IP逐渐不能起到身份识别的作用。我们也有提供上述信息的数据服务,但我们仍然采用历史行为。更保守的策略:与历史行为相关的数据采用更短的到期时间设置来应对IP被轮换出来的情况。在数据来源方面,采用可信来源。一个是我们自己部署的蜜罐的分析结果;另一个是我们有一个标准化的大数据分析平台和策略,通过合作客户的黑名单数据交换来扩展我们自己的数据库。但即便如此,用户还是需要有正确的选择,不要将其纯粹作为黑白名单来使用,更多的是作为自己数据分析的补充。2、IP的衰落趋势需要指出的是,近几年来,IP作为用户身份识别的作用逐渐弱化,极大地影响了其安全防范和风险控制的有效性:1.IPv6不再一个新的Topic,虽然过程很慢,但是趋势无法逆转;在IPv6场景下,很难保证ip的唯一性。好在现在IPv6的普及率很低,无论是用户还是网站。2、目前国内大部分用户没有独立ip,基本都是在公司、学校、网吧等地方上网,大家共享出口ip。以教育网为例,共有76000+个C类地址。虽然已经是比较多的资源了,但是还是不能完全覆盖整个内网。许多学校只能分配少量资源,导致大量学生共享同一个地址。一个公网ip,一个人恶作剧,就会影响一群人。对于这种类型的ip,你需要非常小心。3、在近几年的移动化浪潮中,共享IP的问题尤为突出。现在大多数互联网访问来自移动设备,来自wifi地址或3/4G出口。如果是后者,同一个IP下的设备数量会非常惊人,轻举妄动会死得很惨。移动时代,IP的作用被大大削弱。4、即使是独立ip,也很难对其采取长久措施。A。独立ip是中国电信买的固定ip,但是这种成本高,用来干坏事得不偿失;b.一种是最常见的adsl拨号,给大家分配一个临时ip。很快就会传给别人。目前很多高级爬虫都会采用这种形式(甚至有专门的拨号云主机出售)。当被攻击对象被禁止后,可以通过重新拨号获取新的IP,继续攻击;同时,该网站不敢攻击此类IP会被长期封禁,因为这些IP可能很快就会分配给普通用户,影响普通用户的体验。对于此类攻击,只能通过实时行为分析和拦截+短期封禁来应对,这对数据分析能力和网站技术架构带来极大的考验。ip的上述特点,让用户需要采取更加专业和谨慎的姿态。3、IP的正确使用姿势我们在与客户合作的过程中,整理了一些IP信息在安全防范和风控场景中的建议:1、简单的将IP信息作为黑白名单使用,会带来一定的风险。误杀率,一不小心,会带来更严重的后果,需要结合自身情况合理处理。2.但我们也发现很多用户在分析过程中过于强调手机号码等特征,而忽略了IP的作用。这实际上丢失了很多风险信息,同时也会影响误杀率(基站数据、教育网、机构出口数据等信息作为白名单)和覆盖率(服务器、公有云平台、搜索引擎等信息)援助)产生影响。3.对于所有用户来说,无论是客观还是主动检测,都要利用好ip的固有属性。这些属性分别对白名单和黑名单有明显的贡献。如果你有自己的风控系统,你应该将这些信息加入到你自己的模型或策略中,这样可以显着提升效果。4、ip历史行为数据(常见的黑白名单),需要选择数据来源,误杀率比覆盖率更重要。而如果你有自己的风控系统,两阶段验证是最合理的使用方式。反爬虫文章来源:http://bigsec.com/