一个高吞吐量的消息队列系统，可以达到高效的流处理，借助zookeeper确保了证数据的安全。
下载
1
| 下载官网 kafka.2.10-0.8.2.1.tgz 版本
|
kafka集群配置
1
2
3
4
5
6
7
8
9
10
11
12
13
14
| # 传输数据到集群 -> scp -r ***.tgz opt/software/
# 解压 -> /opt/modules
# 配置
1. Server.propertis文件
-> broker.id -> 1或则2，nod1 -> 1,node2 -> 2
-> port=9092
-> host.name -> userhostname
-> 修改日志路径 -> log.dirs = /tmp/kafka-logs
-> zookeeper.connect=master,node1,node2;
2. 分发到其他机器
3. 修改其他机器上的server.properties文件
|
启动并测试
1
2
3
4
5
6
7
| 1. bin/zookeeper-server-start.sh config/zookeeper.properties
2. bin/kafka-server-start.sh config/server.properties
3. 创建 Topic -> > bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
4. 创建生产端和消费端
-> bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
-> bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
|
创建好了的topic可以在zookeeper的目录下的brokers/topics里面去查看。
Tips
- host.name要改成跟本机对应的hostname,才能在第二、三台机器上启动server
参考
