当前位置: 首页 > 后端技术 > Python

Crawlab单节点服务集群搭建部署简明教程

时间:2023-03-26 14:50:05 Python

本文转载自青鱼博客,已获得授权。作者会定期更新相关资料,欢迎阅读。1、安装DockerCE→传送门CentOS用户可直接参考这篇文章:CentOS2的DockerCE简明安装步骤,一些前期准备sudomkdir-p/opt/dockersudochown${USER}-R/opt/dockermkdir-p/opt/docker/crawlab/data/mongodbmkdir-p/opt/docker/crawlab/data/redismkdir-p/opt/docker/crawlab/logs/crawlabmkdir-p/opt/docker/crawlab/spidersmkdir-p/opt/docker/crawlab/tmptouch/opt/docker/crawlab/docker-compose.ymlcat/dev/null>/opt/docker/crawlab/docker-compose.yml3.安排有关DockerCompose配置的一些说明:固定每个服务的IP是方便与物理网络上的其他服务连接。这时只要在物理网络终端设置好路由表,就可以通过Docker服务的Subnet网段直接访问运行在容器中的各种服务。MongoDB和Redis的数据持久化可以根据自己的需要在本地设置。执行docker-composedown命令后,如果想保存原来的任务队列/任务运行详情/定时任务设置,就必须持久化MongoDB的数据。至于Redis数据是否不持久化,博主还没有测试过。P.S:一定要同步容器的时区设置,否则定时任务可能不会按照你预设的时间执行。4、运行Crawlab服务集群#切换到Crawlab工作目录cd/opt/docker/crawlab#后台启动Crawlab服务组,将运行日志重定向到/tmp/crawlabs.lognohupdocker-composeup>/tmp/crawlabs.log2>&1&5.测试集群是否可以正常工作。打开http://localhost:8080/或http://<;your_ip>:8080/,使用默认账号密码admin/admin尝试登录,若能登录则正常,否则请检查运行日志/tmp/crawlabs.log错误排查6.其他爬虫的集成对接7.常见问题Q&Ahttps://tikazyq.github.io/cra...另外感谢群主和微信“Crawlab开发交流群》同事在博主部署中提供的各种帮助。如果大家对部署有什么疑问,可以留言一起交流。参考资料:https://tikazyq.github.io/cra...https://docs.docker.com/compo...https://tikazyq.github.io/cra...