关于ODBParserODBParser是一个开源的智能工具，可以帮助研究人员从Elasticsearch和MongoDB目录中搜索、解析和导出感兴趣的数据。此外，该工具还可以帮助研究人员从开放数据库中搜索暴露的个人身份信息(PII)。ODBParser的主要目标是创建一站式开放资源情报工具，用于搜索、解析和分析开放数据库，以识别第三方服务器上的PII泄漏。功能介绍（1）识别开放数据库查询Shodan和BinaryEdge所有可行参数，按国家、端口号等内容过滤查询结果；指定单个IP地址；加载IP地址列表文件；从剪贴板粘贴IP地址列表；导出选项：解析所有数据库/集合以识别指定数据；获取目标服务器中托管的所有数据；获取集合/索引数据；使用Ctrl+C跳过特定索引；(2)将JSON导出数据转换为CSV的后开发过程；从CSV中删除特定列；(3)其他功能跟踪所有查询的IP地址和数据库以及每台服务器的信息；对于记录总数超过限制的每个数据库，脚本将在一个特殊文件中创建一个条目以及5个示例记录，以便您可以查看并决定该数据库是否值得抓取；默认输出是一个以行分隔的JSON文件，每行有一个JSON对象。您可以使用“properjson”标志来选择它来输出“正确的JSON”文件；工具安装首先，我们需要使用以下命令将项目源码克隆到本地：gitclonehttps://github.com/citcheese/ODBParser.git接下来，我们需要自己获取Shodan和BinaryEdge的APIkey，以及在ODBconfig.py文件中配置相应的参数。最后根据项目目录下的requirements.txt安装配置工具所需的依赖组件。我建议所有研究人员创建一个ODBParser的虚拟环境，目前仅在Windows10（Python3.7.3）环境下进行测试。工具使用示例：pythonODBParser.py-cnUS-p8080-tusers--elastic--shodan--csv--limit100pythonODBParser.py-ip192.168.2:8080--mongo--ignorelogs--nosizelimitsDamageto-date:0serversparsed|0databasesdumped|______________________________________________________可选:-h,--helpshowthishelpmessageandexitQueryOptions:--shodan,-shAddthisflagifusingShodan.SpecifyESorMDBw/flags.--binary,-beAddthisflagifusingBinaryEdge.SpecifyESorMDBw/flags.--ip,-ipQueryoneserver.Addportlikeso'192.165.2.1:8080'orwillusedefaultportstospecifyMDBpar.-file,-fLoadline-separatedIPsfromfile.Addportorwillassumedefaultportsforeachdbtype.AddESorMDBflagstospecifyparser.--paste,-vQueryline-separatedIPsfromclipboard.Addportorwillassumedefaultportsforeachdbtype,e.g.9200forES.AddESorMDBflagstospecifyparser.Shodan/BinaryEdgeOptions:--limit,-lMaxnumberofresultsperquery.Defaultis500.--port,-pFilterbyport.--国家，-cnFilterbycountry(two-lettercountrycode).--terms,-tEnteranyadditionalquerytermsyouwanthere,e.g.'users'Dum??pOptions:--mongo,-mdbUseforIP,Shodan,BinaryEdge&Pastemethodstospecifyparser.--elastic,-esUseforIP,Shodan,BinaryEdge&Pastemethodstospecifyparser.--properjson,-pjAddthisflagifwouldlikeoutputtobeproperJSONfile.DefaultisoneJSONstringobjectperline.--数据库,-dbSpecifydatabaseyouwanttograb.ForMDBmustbeinformatformat'db:collection'.UsewithIParg&'es'or'mdb'flag--getall,-gGetallindicesregardlessoffieldsandcollection/indexnames(overridesselectionsinconfigfile).--ignorelogsConnecttoaserveryou'vealreadycheckedout.--nosizelimits,-nDumpitiscountismax0matterhow,000.--csvConvertJSONdumpsintoCSVformatonthefly.(PutsJSONfilesinbackupfolderincasethereisissuewithcoversion)CSV/后处理选项：--convertToCSV,-cConvertJSONfileorfolderofJSONdumpstoCSVsafterthefact.Enterfullpathorfoldernameincurrentworkingdirectory--dontflattenUseifrunintomemoryissuesconvertingJSONfilestoCSVduringpost-processing.--basicUsewith--convertToCSVflagifourJSONdumpsarenottrueJ??SONfiles,butratherlineseparatedJSONobjectsthatyougotfromothersources.--dontclean,-dcChooseifwanttokeepuselessdatawhenconverttoCSV.Seedocsformoreinfo.项BP地址：
