当前位置: 首页 > 科技观察

盘点12款开源情报(OSINT)检索工具

时间:2023-03-19 14:50:27 科技观察

互联网上有大量的开源情报(OSINT)信息,其中开源是指公众容易获取和传播的信息或程序;智能是获取和运用知识能力的过程。一般来说,开源情报是从开源中获取、收集和分析信息以产生有价值的情报的过程。其来源包括互联网、社交媒体、学术和专业期刊、报纸、电视,甚至一些非法泄露的数据。在这个信息爆炸的时代,OSINT对于高度依赖有效信息获取的安全防护工作尤为重要。如果使用得当,这些数据可以帮助分析人员更准确地了解事件的真相。然而,手动检索OSINT是一项艰巨的任务,需要处理的记录和数据太多。值得庆幸的是,市场上有许多工具可以自动收集OSINT信息。以下是业界常用的12个强大的OSINT工具列表,即使是非专业的安全人员也可以轻松使用。1.OSINTFrameworkOSINTFramework是一个包含不同工具的网站,用户可以使用这些工具查询不同系统和知识库中的开源情报信息,包括电子邮件地址、社交媒体、域名、搜索引擎、公共记录、文档,甚至电话数字。例如,如果用户想了解“社交媒体”,OSINTFramework会将其细分为子部分列表,例如Facebook、Twitter、Instagram、Reddit、LinkedIn等,用户可以进一步选择子部分-categories,whichwillincludesearch,analysis,pictures,location,andstored/deletedtweets,etc.When"Analyze"isselected,italsopresentsabreakdownoftweetmetadata,Birdwatcher,Tinfoleak,andmore.申请链接:https://osintframework.com/。2.WaybackMachineWaybackMachine被称为互联网的数字档案。它用于管理、捕获和存档一段时间内网站的快照。即使原网页被删除或更改,用户仍然可以查看之前的网页快照。目前,WaybackMachine每天接收超过10亿次请求(包括查询和归档请求),在不同时间积累了近7000亿个各种网页。用户可以通过WaybackMachin的“SavedPages”服务对数以亿计的网站进行存档,如果注册免费账户,还可以请求爬取相关页面的“外链”,并通过邮件接收爬取报告。在回顾历史信息时,WaybackMachin以“年份选择器”和“日期选择器”的形式向用户展示该站点的所有保存记录。如果你想比较两个不同的web存档之间的差异,你可以使用WaybackMachin的“更改”功能来执行此操作。申请链接:http://www.wayback.com。3.MaltegoMaltego主要使用开源情报技术查询DNS记录、whois记录、搜索引擎、社交网络、各种在线API和元数据提取等来源,以发现这些信息之间的联系。Maltego程序通过自动搜索不同的公共数据源来工作,因此用户可以单击一个按钮并执行多个查询,每个执行的查询最多可以返回12个实体。由于该程序使用公共界面来执行搜索,因此它与几乎所有具有公共界面的信息源兼容。收集信息后,Maltego会建立链接以揭示姓名、电子邮件地址、别名、公司、网站、文件所有者、从属关系和其他可能对调查有用的信息或查找潜在的未来问题之间的隐藏关系。它可以在Windows、Linux和Mac上下载,并且预装在KaliLinux中。该程序有一个免费版本,功能有限,称为MaltegoCE。MaltegoPRO版本主要针对专业调查人员和小型团队计划,包括MaltegoOne桌面、所有Maltego标准转换以及对商业转换中心的访问(请参阅所有功能的完整列表)。申请链接:https://www.maltego.com/。4.HaveIBeenPwnedHaveIBeenPwned是由TroyHunt创建的免费网站资源。网站收集了大量拖拽的数据库,让用户查看自己的个人信息是否因数据泄露而遭到破坏。用户只需在搜索框中输入他们要查找的姓??名或电话号码,它就会搜索泄露的数据库,查看相应的凭据是否已被泄露。如果发现相关泄露,可以通过页面下滑查看泄露信息。申请链接:https://haveibeenpwned.com/。5.ShodanShodan是一个专门的搜索引擎,用于搜索Internet和连接到它的不同Web服务器。这意味着用户可以使用Shodan浏览其数据库以查找联网设备,例如路由器、物联网(IoT)设备、监控摄像头、安全摄像头、交通信号灯等。作为一个强大的OSINT工具,Shodan可以监控和搜索的范围是惊人的。它是少数能够检查操作技术(OT)的引擎之一。如果没有像Shodan这样的工具,在部署IT和OT的行业中寻求收集开源情报的机会将大大减少。Shodan可以免费创建账号,但是可以免费查询的信息少得可怜。如果想进一步查询更多信息,用户需要购买Shodan的会员服务。除了个人版,Shodan还推出了付费版的小企业版和企业高级版,其中小企业最多可以扫描65536个IP地址,返回最多2000万条结果;EnterprisePremiumEdition提供无限返回结果和每月多达327,680次IP扫描,还包括漏洞搜索过滤器和高级支持等服务。申请链接:https://account.shodan.io/。6.ZoomEyeZoomEye是一家中国安全公司KnownsecInc.创建的搜索引擎。ZoomEye刚上线的时候,很多人把ZoomEye当成了国内版的Shodan,但其实ZoomEye和Shodan是有区别的,因为除了扫描设备指纹,ZoomEye还加入了对域名和web服务器的指纹扫描,包括前端-端框架、后端框架、服务器端语言、服务器操作系统、网站容器、内容管理系统和数据库等。ZoomEye有两个检测引擎:Xmap和Wmap,可以有效识别互联网设备使用的服务和组件和网站通过不断的检测和识别。研究人员可以通过ZoomEye轻松了解网络资产分布情况和漏洞危害范围。申请链接:https://www.zoomeye.org/。7.TinEyeTinEye是Idée公司开发的一个反向图片搜索和图片识别网站。它已于2008年正式推出。它使用计算机视觉、模式识别、神经网络和机器学习来提供快速准确的搜索解决方案。要使用TinEye,只需将图像上传到用户想要获取相关信息的网站。该站点将获得有关图片的位置、来源、用途甚至更高分辨率的信息。申请链接:www.TinEye.com。8.CensysSearchCensysSearch是一个基于网络的搜索引擎。它最初是为学术研究而创建的,其定位也是一个公益项目。它由密歇根大学和Rapid7完成。Censys官网对搜索引擎的定义如下:“CensysSearch是一个搜索引擎,可以让计算机科学家了解构成互联网的设备和网络。Censys由全互联网扫描驱动,使研究人员能够找到特定的主机和设备、网站和证书的配置和部署信息被创建到一份汇总报告中。”与Shodan一样,它在Internet上搜索服务器和联网设备。此外,它还能够识别联网的工业控制系统和平台。申请链接:https://censys.io。9.BuiltWithBuiltWith是一个发现流行建站技术和编程语言的工具。它是网站分析器、商业智能(BI)、潜在客户生成和竞争分析工具。BuiltWith还生成网站使用的已知JavaScript/CSS库(例如jQuery或Bootstrap)的综合列表。此外,该服务还提供网站上安装的插件、框架、服务器信息、分析和跟踪信息等列表。在实际应用中,如果BuiltWith与WPScan等网站安全扫描器结合使用,可以让安全人员更容易发现影响网站安全的常见漏洞。应用链接:https://builtwith.com/。10.NmapNmap是一个免费的网络和端口扫描器,用于发现在网络或网站上运行的服务操作系统、主机和开放端口。它可在Web上获得,并受大多数常见操作系统的支持。Nmap的功能包括:?主机发现:识别网络上的主机。?端口扫描:枚举目标主机上的开放端口。?版本检测:查询远程设备上的网络服务以确定应用程序名称和版本号。?操作系统检测:确定网络设备的操作系统和硬件特性。?脚本交互:使用Nmap脚本引擎(NSE)和Lua编程语言。申请链接:https://nmap.org/。11、Recon-ngRecon-ng是一款基于python开发,通过命令行操作的信息采集工具。Recon-ng可以收集DNS信息、域名信息、邮件信息、搜索引擎信息收集。它是一个强大的网络侦察框架。Recon-ng的模块化设计框架具有许多内置功能,即使是最新手的Python开发人员也可以创建公开可用的数据搜索并返回良好的结果。开发人员无需编写Recon-ng脚本来执行搜索,只需选择他们希望其执行的功能,即可在几分钟内构建一个自动化模块。申请链接:https://bitbucket.org/LaNMaSteR53/recon-ng。12.TheHarvesterTheHarvester是一种开源情报工具,用于收集有关电子邮件、网站、子域、开放端口、虚拟主机等的信息。TheHarvester使用的来源包括流行的搜索引擎,例如Bing和Google,以及不太常见的搜索引擎,例如dogpile、DNSdumpster和Exalead元数据引擎。它甚至可以利用Shodan搜索引擎在发现的主机上查找开放端口。Harvester无需任何特殊准备即可访问大多数公共资源。但是,它使用的某些功能需要API密钥。此外,用户必须在其环境中安装Python3.6或更高版本。申请链接:https://github.com/laramies/theHarvester。