项目介绍前端站项目效果预览http://findcl.com使用nodejs实现磁链爬虫磁链解析成种子信息,保存到数据库,并使用Elasticsearch实现中文检索。koa2搭建磁力链接搜索引擎源码地址https://github.com/ssstk/findcl后端脚本磁力链接获取磁力链接分析存储Mongodb定时同步Elasticsearch源码地址https://github.com/ssstk/mang...本项目仅用于学习通信技术,不得用于商业用途。上线2018-06-01网站正式上线。暂时想不出名字,大家可以推荐一下。域名为http://findcl.com,两个VPS(都是为某些云活动购买的低配置)第一个部署了FindCl站点本身(koa2,nginx)和一个节点Elasticsearch,第二个部署了磁力链接爬虫hashinfo解析存储MongodbMongodb数据库在RoutineCloud(目前有300W数据库,每天新采集3W+数据)项目依赖MongodbmongooseElasticsearchnginxkoa2vueDHTBT资源爬虫磁力链接分析manget2torrentcrontab定时执行Mongodb和Elasticsearch之间的数据同步...存在问题manget2torrent时依赖的dhtspider爬虫长期使用一个端口,由于P2P网络的特点,访问的节点会越来越多,带宽会被占满(主要是为了活动买的云主机1M),如果生命力完全激活,不要做idle大概稳定在10M左右。解决方法是每采集到5000个唯一的磁力hashindos就暂停爬虫,分析获取信息。当条目数小于1000时,在随机端口上启动服务。解析磁力链接很慢,成功率很低。失败率约为30%,需要几秒钟。如果您有其他问题,请创建一个新的问题进行交流。
