Linux下Kafka分布式集群安装教程

admin 2019-10-13 12:35:28 阅读() 评论()

Kafka（http://kafka.apache.org/）是由 LinkedIn 使用 Scala 编写的一个分布式消息系统，用作 LinkedIn 的活动流（Activity Stream）和运营数据处理管道（Pipeline）的基础，具有高水平…

Kafka（http://kafka.apache.org/）是由 LinkedIn 使用 Scala 编写的一个分布式消息系统，用作 LinkedIn 的活动流（Activity Stream）和运营数据处理管道（Pipeline）的基础，具有高水平扩展和高吞吐量。Spack、Elasticsearch 都支持与 Kafka 集成。下面看一下几种分布式开源消息队列系统的对比：

Kafka 集群架构：

一般不建议直接使用 Kafka 自带的 Zookeeper 建立 zk 集群，这里我们使用独立的 zk 集群，zk 集群搭建参考文章 Linux下ZooKeeper分布式集群安装。

这里 Linux 选择 CentOS 7.2。

# cd /usr/local# mkdir kafka# cd kafka# wget -P /usr/local/kafka http://mirror.bit.edu.cn/apache/kafka/1.0.0/kafka_2.11-1.0.0.tgz# tar -zxvf kafka_2.11-1.0.0.tgz# mkdir kafka-logs# cd kafka_2.11-1.0.0/config# vim server.properties