Kafka简介ApacheKafka是一个分布式的发布-订阅消息系统和一个强大的队列，Kafka最初是由Linkedin开发的，是一个分布式的、分区的、多副本的、多订阅的，或者，基于一个zookeeper配合的分布式日志系统（也可以作为MQ系统），Linkedin在2010年贡献给Apache基金会，成为顶级开源项目。Kafka可以处理大量数据，并使您能够将消息从一个端点传递到另一个端点。Kafka适用于离线和在线消息消费。Kafka消息持久保存在磁盘上并在集群内复制以防止数据丢失。Kafka建立在ZooKeeper同步服务之上。它与ApacheStorm和Spark完美集成，用于实时流数据分析。优点：可靠性---Kafka是分布式的、分区的、复制的和容错的。可扩展性---Kafka消息系统可以在不停机的情况下轻松扩展。持久性---Kafka使用分布式提交日志，这意味着消息会尽可能快地持久化在磁盘上，因此它是持久的。性能---Kafka具有高吞吐量的发布和订阅消息。即使存储许多TB的消息，它也能保持稳定的性能。Kafka非常快，确保零停机和零数据丢失。官方下载地址：http://kafka.apache.org/downl...官方下载包：kafka_2.11-1.1.0.tgzKafka依赖ZookeeperKafka依赖Zookeeper，可以单独安装Zookeeper，也可以直接启动自带的kafka包ZookeeperMacBookLinux安装zookeeperMacBookLinux安装Kafka#解压tar-zxvfkafka_2.11-1.1.0.tgz#进入解压目录cdkafka_2.11-1.1.0#创建日志目录mkdirkafka-logs#修改配置vim配置/服务器。properties#指定日志目录log.dirs=/Users/liang/software/kafka_2.11-1.1.0/kafka-logs#启动内置的zookeeper，也可以使用外部的zookeeperbin/zookeeper-server-start。shconfig/zookeeper.properties#后台模式启动#bin/zookeeper-server-start.shconfig/zookeeper.properties#bin/zookeeper-server-start.sh-daemonconfig/zookeeper.properties#Startkafkaservicebin/kafka-server-start.shconfig/server.properties#后台模式启动#bin/kafka-server-start.shconfig/server.properties&#bin/kafka-server-start.sh-daemonconfig/server.properties&#nohupbin/kafka-server-start.shconfig/server.properties>/dev/null2>&1&#Stopkafkabin/kafka-server-stop.sh#停止zookeeperbin/zookeeper-server-stop.sh常用命令#查询到picbin/kafka-topics.sh--list--zookeeperlocalhost:2181#创建主题bin/kafka-topics.sh--create--zookeeperlocalhost:2181--replication-factor1--partitions1--topictest#Producerbin/kafka-console-producer.sh--broker-listlocalhost:9092--topictest#Consumerbin/kafka-console-consumer.sh--zookeeperlocalhost:2181--from-beginning--topictest参考链接:https://www.cnblogs.com/dragk...https://blog.csdn.net/zxy9878...https://colobu.com/2014/08/06...https://www.cnblogs.com/zhaoj...
