一、背景1、威胁情报库建设背景与要求1）新时代攻防趋势与要求的变化。随着互联网特别是移动互联网的发展，网络环境越来越复杂，不同的攻击行为越来越产业化、群体化，入侵方式也越来越多样化和复杂化。难以及时有效地检测、拦截和分析新出现的、持久的和高级的威胁。安全攻防需求从传统的以漏洞为中心的构建模式，逐步演化为主动的、以情报为中心的构建模式。2）银联自身业务需求。虚假注册、批量绑定卡、恶意刷票券等各种恶意行为，将影响企业相关产品的日常运营和营销。但传统金融行业本身缺乏互联网相关的安全数据，需要高质量的情报数据来支撑相关信息。风险防控工作。因此，需要将安全与业务相结合，引入与风控等业务相关的威胁情报，助力提升公司风险防控能力。2.现有威胁情报库威胁情报库的数据来源分为三个方面，包括内部情报、专业机构和行业联盟。内部情报包括传统安全设备的拦截、后台SIEM等安全分析系统的分析、业务风控系统的发现；专业机构将提供各自专业的多源情报，根据各机构的专业特点相互补充，在冲突时提供情报研判数据；目前正在研究和探索通过产业联盟共享威胁情报。内部情报、专业机构、行业联盟的数据汇总后，形成本地数据库。处理后的数据结果最终反馈给顶层应用层，推送给后台应用、防御设备或人工调用。在综合考虑威胁情报库的需求后，我们对国内相关厂商进行了调研和测试，最终选择了北京微步在线技术有限公司本地威胁情报管理平台作为银联威胁情报库的承载平台.一方面，建立威胁情报库可以帮助我们及时发现黑客或恶意攻击者的各种战术、方法和行为模式，掌握支付场景的最新攻击动向，高效防范和应对各种网络风险安全事件；另一方面，一方面，高质量的情报数据可以为风险防控提供有力支撑，实现对外网异常访问行为的精准识别。对于防御方安全风控团队及时掌握安全态势并做出正确反应具有重要价值。2.研究目标在威胁情报的应用过程中，我们发现还存在一些有待解决的问题。一、合法有序的情报共享情报数据库一经建立，情报共享的需求随即提出。与企业和行业组织的信息共享可以快速提升威胁意识和风险分担，另一方面，合法有序的情报共享也有利于整个生态系统的健康持续运行，降低运营成本。2、民间情报生产银联是典型的多场所、多组织协同防御结构。它有很多安全设备并且对攻击很敏感。会有大量的告警信息。如何从海量告警信息中获取真实的攻击行为是一个很大的问题。挑战。同时，外部威胁情报数据不能完全支持真实攻击的检测、阻断和溯源分析。当攻击者对外围资产发起跳转攻击时，也可能导致联防困难。在这些场景中，我们对威胁情报数据和威胁情报生产都有强烈的需求。为了实现这两个目标，我们对情报共享技术和全流程威胁搜寻进行了研究。三、情报共享技术研究1、情报上传和分发的基本逻辑。在现有情报库中部署情报管理平台，各分行部署一个分行情报管理平台。总控将信息推送到各个分支，各个分支的隐私信息自动上报给总控，总控可以控制是否上报各个分支的私有信息进行二次分发。整体解决方案主要由核心情报管理平台和下游情报管理平台两部分组成：核心情报管理平台的主要功能包括接收云端情报进行情报查询；向下游情报管理平台分发情报；从下游情报管理平台接收情报；信息查询和发布的信息录入。下游情报管理平台的主要功能包括自有情报输入，用于情报查询和上报；向核心情报管理平台上报本地录入的信息；接收核心情报管理平台下发的情报。对于拥有自己的情报平台的组织，情报管理平台可以使用行业同行标准进行情报交换。2、完整的情报流程基于银联威胁情报库的结构。首先，从内部日志、行业情报、联盟数据中自动生成筛选情报，从云端拉取社区情报和定期情报更新。开启协同研判功能后，威胁情报库会自动通过加密通道从云端拉取额外信息，与本地简化的私有情报融合，形成完整的威胁情报形态。本地私有情报可直接查看、删除、导出并应用到第三方系统。在协同研判过程中，威胁情报团队成员将共同完成攻击组织的手段，最终形成独立的攻击者画像数据库；情报管理平台支持对单一情报的多个情报源数据进行横向比对查看，多角度综合评估情报全貌，再通过RestfulAPI共享威胁能力，实现推送、上报、可控总控与各分公司之间的二次分配。威胁情报库将根据机读情报、高级报表和月报、第三方机读情报、用户手动导入的私有情报自动补充辅助信息，对多种开源情报进行统一存储、检索、比对全球范围内，并使用统一的生命周期管理智能从产生、使用、沉默到消亡的完整过程。3.技术重点难点在本项目的开发部署测试过程中，也发现了很多重要的节点和技术难点。经过充分讨论和评估，结合实际需要，逐一取得突破，包括：1）如何建立和实施24*7全自动多机构情报共享和消费机制。该目标包括从核心情报管理平台分发情报，到下游情报管理平台编写、报告、消费情报等过程。关键是搞清楚是谁在向下游情报管理平台发送信息，谁在消费下游情报管理平台的信息，如何消费。“谁向下游情报管理平台写入信息”：下游机构除了核心情报管理平台外，实际上并没有直接准确的信息可以写入。实际可以写入的是部署在下游组织网络环境中的安全设备产生的告警，当众多下游机构上报告警时，核心情报管理平台可以根据智能策略实时动态生成行业威胁情报，例如：当下游代理网络不连续时，一个外部IP连续攻击多个下游代理，攻击IP比较可疑。根据策略，它被生产为行业情报，并推送给其他尚未感知到风险的下游组织。“下游情报管理平台的情报谁消费，怎么消费”：支付入口、登录入口等一些敏感业务可以利用推送的情报进行主动防御。即使来自攻击IP的用户提供了正确的用户名和密码，业务仍然强制验证上下行文本消息。对于互联网行业的某些类型的抽奖活动，还可以降低其所在网段的中奖几率，在不冒犯用户、不中断业务的情况下保障业务安全。2）如何解决分支情报冲突和误报情报冲突的问题，立项之初没有充分考虑。但在测试部署中，我们发现部分IP被不同分支标记为白名单和恶意地址，导致下游组织提出疑问，经排查发现主要原因是：某组织标记了自己的办公室网络出口地址为白名单，但其办公网络存在蠕虫，通过办公网络出口扫描其他组织，其他组织可能被标记为恶意；情报误报问题主要是由于多个下游机构采购同一厂家的安防产品，同类安防产品通过下游情报管理平台误报上传至核心情报管理平台，造成误判。此类问题的后续计划是通过增加安全设备对识别类型的实现进行进一步规避。3）规范化安全设备日志格式问题由于下游组织购买的安全设备多种多样，必然会导致日志规范化问题。这个问题目前还没有完美的解决方案。在下游智能管理平台入口处采用技术手段统一格式化，是目前可行的方案。四、全流程威胁猎捕1、威胁猎捕的定义和流程威胁猎捕是企业组织基于威胁情报的自检。威胁狩猎需要提前掌握攻击者的一些基本模糊特征和线索，即威胁情报，然后根据情报，通过旁路流量检测、系统日志检测或主机行为检测等方式，挖掘正在进行的攻击或被攻陷的内网主机，其效果随线索或情报的准确性、及时性和多样性而变化。威胁狩猎流程（流程图）二、威胁狩猎的技术要点和难点威胁狩猎的技术要点和难点主要来自以下三个方面：1）如何在大量辅助上下文中获取准确、及时、多样的威胁情报;为满足情报准确性、及时性和多样性的要求，威胁情报库采用多源威胁情报的采集和管理。本地情报平台至少应能加载四种情报，具备两种情报能力，包括多源机读情报。、高级人读报告、漏洞情报、自定义情报等。情报能力应包括情报代理能力、本地生产情报能力等。此外，情报共享和级联是确保威胁狩猎成功的关键能力之一.2）如何自动筛选出更多已开发的线索，并将有效线索进一步转化为情报；情报辅助上下文是一个不容忽视的重点，机器可读情报字段的丰富程度决定了威胁情报能否真正落地。包含但不限于发现时间、端口协议、严重级别、URL、相关样本、域名所有者、家族标签、行业特定等30多个字段，准确描述攻击行为或群体的特征。提供没有任何二次上下文信息的黑名单OSINT几乎不可能在金融生产环境中使用。自动化筛选和有效线索转化为情报，主要考验我们威胁情报库私有威胁情报的本地化生产能力。3）如何应用威胁情报绕过流量检测、系统日志检测或主机行为检测产品。这就需要我们开放与外部SIEM/SOC数据平台、防火墙或WAF设备、主机管理产品、路由交换设备等安全产品的联动。并分析具体场景下的设备联动。对于命中的高危情报，调用下游设备实现阻断，将情报从检测响应场景提升到全方位的安全防护。3、全流程威胁狩猎技术依托威胁情报大数据知识图谱技术，通过接入数据源的系统规划、底层软硬件架构、大数据标准化处理、模型算法、顶层技术进行先进的入侵检测与分析。级安全业务应用程序。技术、黑客画像与溯源技术、情报数据共享技术、响应策略自动编排与处置技术等核心技术，构建覆盖全行业网络的威胁检测与分析、威胁事件线索提取、攻击者画像与溯源分析、威胁阻断响应和协同联动等闭环解决方案形成威胁情报数据驱动的检测、分析、响应、溯源和预测能力。1）接入数据源综合采集企业相关网络边界的进出双向流量，以及内网各区域之间的横向东西向流量。实时采集，主要数据采集包括流量信息、流量中还原的payload或文件、终端日志数据。其中，流信息包括DNS、HTTP、TCP、SMTP、POP3、RSYNC、RDP、TFTP等8个协议；DNS日志包括Request和Response双向日志中的解析域名、查询类型、源地址和端口、目的地址和端口等信息。以此为基础，形成全流量威胁，持续检测访问数据。基于威胁情报的日志关联分析2）软硬件基础组件及数据分析依托微服务、分布式集群、海量数据存储、消息队列等大数据软硬件基础组件，构建“松耦合、高“内聚”大数据底层数据架构采用ElasticSearch、Hadoop、Spark、Kafka等开源分布式技术，解决海量数据访问、解析、分析、存储、输出等关键环节的并发瓶颈，并可动态扩展根据检测环境。对于原始流量的数据访问形式，系统需要将原始流量中的二进制数据解析成结构化的DNS报文。经过对常见流量分析工具（包括Bro、Suricata等）的调研和测试，发现它们并不适用于DNS解析场景。原因是：1.此类工具的架构是为全流量分析而设计的。为了兼容其他协议特性，很大一部分系统资源用于数据流会话维护、流量缓存等，这些都是DNS解析时不必要的系统开销。2、另外DNS数据包长度小，同流量下QPS高。在Bro和Suricata上的性能测试结果并不理想。因此，系统在技术路线上采用了自主研发的抓包模块，并根据DNS的协议特点进行了性能优化。3）威胁检测分析模型该架构共有十类威胁检测模型，包括基于威胁情报的大数据碰撞模型、DNS隐蔽通道检测模型、动态沙箱检测模型、DGA随机域名生成检测模型、内网横向渗透检测等模型、深度学习算法自学习检测模型等。检测覆盖阶段包括嗅探、漏洞利用、武器投放、远程控制、横向移动、外部攻击、操作（勒索、挖矿、数据窃取），识别出的攻击和威胁类型至少包括：端口扫描、应用程序扫描、及子域名暴力破解、远程溢出、WEB攻击、SQL注入、配置漏洞、命令注入、CC破坏攻击、XSS、SSRF、文件泄露、目录遍历、暴力破解、web木马、木马执行、webshel??l、僵尸蠕虫检测、高危漏洞利用、勒索软件、挖矿木马、高级APT组、隐蔽通道通信等。依托可视化关联分析技术，对威胁情报、原始网络日志、终端日志、告警日志进行关联分析，全面从攻击者的角度还原攻击路径，完整描述被控h的网络行为ost从受控主机的角度，呈现威胁的全貌。五、研究成果及意义1.安全建设保障的连续性在原有情报管理平台和威胁检测平台上，增加更多能力，在已有能力的基础上不断升级，保证原有能力的持续运行，并与新技术融合无缝衔接确保安全建设持续有效。2.增加全网威胁可见性在原有威胁检测平台边界被入侵主机检测能力的基础上，增强流量覆盖，覆盖内网流量，应用流量文件还原技术、引擎和动态沙箱技术、机器学习技术等。提高检测能力，对威胁攻击过程进行分析和追捕，提高威胁和整个攻击过程在内网的可见性。3、行业情报共享，增强响应能力在原有情报管理平台能力的基础上，整合情报并提供情报检测接口，增强行业情报共享能力，提供批量接入挖掘情报的接口，构建对接能力使用现有的安全设备，根据威胁情报自动响应。4、构建和发展全网安全威胁情报共享体系的意义在于基于前期威胁情报中心的能力，增强流量监控和威胁猎捕分析能力，精准定位整个攻击过程；同时，提升情报挖掘能力，建立行业情报共享机制，进行探索性研究，为未来实际应用奠定理论和技术基础。
