当前位置: 首页 > Linux

jstorm2.2.1安装记录

时间:2023-04-06 18:26:44 Linux

一、准备工作1、机器:一台或多台2、修改主机名,设置集群主机修改主机名并生效-修改:`vimetc/sysconfig/network`-使其生效:`sourceetc/sysconfig/network`统一设置集群主机(修改集群中各节点的hosts文件):vim/etc/hosts3.防火墙设置如果有多台机器,设置防火墙,可以使用以下一种方法:3.1关闭防火墙立即生效,重启后恢复:serviceiptablesstop永久生效:chkconfigiptablesoff3.2设置防火墙规则,允许内网间访问。修改iptables:在/etc/sysconfig/iptables中加入-AINPUT-s192.168.1.0/24-jACCEPT,将192.168.1.0/24改为自己的网段/子网掩码。重启防火墙:serviceiptablesrestart4,安装zookeeper参考https://segmentfault.com/a/11...如果安装了cm,也可以使用cm安装zookeeper5,python环境2.6以上(linux系统有python2默认安装6)6.jdk环境jdk1.7以上jdk安装参考:https://segmentfault.com/a/11...2.jstorm安装官网地址:http://www.jstorm.io:8080/1、下载:wgethttps://github.com/alibaba/jstorm/releases/download/2.2.1/jstorm-2.2.1.zip2,解压:tarzxvfjstorm-2.2.1.zip3,配置:vimjstorm-2.2。1/conf/storm.yaml配置说明参考:http://www.jstorm.io:8080/Maintenance_cn/Configuration.htmlstorm.zookeeper.servers:zookeeper地址,可以是ip,或者hostnamestorm.zookeeper.port:zookeeper集群服务portstorm.zookeeper.root:jstorm数据在zookeeper上的存放路径(如果只有一个集群,可以不设置该参数,默认为/sstrom)cluster.name:jstorm集群名称(如果只有一个集群,nimbus.host:nimbus服务所在节点ip,注意只支持ip不能用hostname,多个ip用逗号隔开nimbus.host.start.supervisor:是否启动nimbus节点上的supervisor服务(使用start。启动sh脚本时会用到该参数,启动jstorm脚本时不受影响)storm.local.dir:数据临时存储目录,需要先手动创建该目录jstorm.log.dir:日志存储目录,需要先手动创建该目录supervisor.slots.ports.base:supervisor执行worker使用的基本端口susupervisor.slots.ports:执行worker使用的端口,默认为4个weight:memoryWeightmem_num=system_physical_memory_size/(worker.memory.size*supervisor.slots.port.mem.weight)storm.messaging.netty.transfer.async.batch:如果这个设置为true,netty处于异步模式,netty会批量处理消息,如果这个设置为false,netty是异步模式,netty会一个一个的发送元组到一个大的消息worker.memory.size:worker内存大小,单位是bytetopology.performance.metrics:禁用时,不会收集定时器和直方图数据topology.alimonitor.metrics.post:官方的解释是:禁用时,指标数据只会打印为日志。启动时,数据除了打印到logsuperior之外,还会发布到alimonitor。4、安装4.1将安装包放在要安装的目录下,如:mvjstorm-2.2.1/opt/4.2将安装包复制到其他节点,如:scp-rjstorm-2.2.1host29:/opt/4.3为了使环境变量与版本无关,创建软连接ln-sjstorm-2.2.1jstorm4.4设置jstorm环境变量,否则启动会报错,服务无法正常启动-setJSTORM_HOME:`vim/etc/profile`![clipboard.png](/img/bV04wD)-使设置生效:`source/etc/profile`5.同时启动nimbus和supervisor:/opt/jstorm/bin/start.sh只启动nimbus:使用jstorm脚本启动:nohup$JSTORM_HOME/bin/jstormnimbus>/dev/null2>&1&使用start.sh脚本启动:设置nimbus.host.start.supervisor为false仅使用/opt/jstorm/bin/start.sh启动主管:nohup$JSTORM_HOME/bin/jstormsupervisor>/dev/null2>&1&6.停止jstorm:/opt/jstorm/bin/stop.sh3.jstorm-ui的安装一般和nimbus安装在同一个节点上。可以单独部署1.安装tomcat1.1下载tomcat官网地址:https://tomcat.apache.org/dow...下载:wgethttp://mirror.bit.edu.cn/apache/tomcat/tomcat-8/v8.5.23/bin/apache-tomcat-8.5.23.tar.gz(该地址为镜像地址,可能会发生变化,请以官网最新下载地址为准)1.2解压安装解压:tarzxvf阿帕奇-tomcat-8.5。23.tar.gz安装:cpapache-tomcat-8.5.23/opt/2,部署jstorm-ui2.1部署安装包安装包在jstorm-2.2.1安装包下,ui安装包部署到tomcat的webapps目录下:cp/opt/jstorm-2.2.1/jstorm-ui-2.2.1.war/opt/apache-tomcat-8.5.23/webapps/2.2配置文件:配置文件放在~/.jstorm目录下,如果没有新建配置文件目录:mkdir~/.jstorm复制jstorm的配置文件:cp-f/opt/jstorm/conf/storm.yaml~/.jstorm2.3配置tomcat:vim/opt/apache-tomcat-8.5.23/conf/server.xml在host节点添加如下代码*这个配置是使用urlhttp://153.35.119.4:8080/jstorm来访问jstorm-用户界面。如果不配置这个选项,默认是Useregistrationaccess:http://153.35.119.4:8080/jstorm-ui-2.2.1*3.启动并运行tomcat:/opt/apache-tomcat-8.5.23/bin/startup.sh4.使用http://153.35.119.4:8080/jstorm访问页面4.运行任务1.开发官网说明:http://www.jstorm.io:8080/QuickStart_cn/Example.html2.运行:/opt/jstorm/bin/jstormjarLogCaculator-1.0.0.jarcom.snail.dw.jstorm.topology.LogCountTopologyconf.yaml3.删除任务:/opt/jstorm/bin/jstormkillLogCountTopology5.错误记录1.JSTORM_HOME环境变量未设置:2.yaml配置文件语法错误yaml配置文件的一级属性必须与左边**的空格相隔一个空格,值必须至少为一个空格远离左边的分号。参考文章:官网:http://www.jstorm.io:8080/QuickStart_cn/Example.htmlgithub:https://github.com/alibaba/js...其他:http://www.cnblogs.com/hzorac...