建站
咨詢
售后
建站咨詢
新聞中心
1、安裝Zookeeper
創(chuàng)新互聯(lián)公司是一家專注于網(wǎng)站建設、成都網(wǎng)站設計與策劃設計,武川網(wǎng)站建設哪家好?創(chuàng)新互聯(lián)公司做網(wǎng)站,專注于網(wǎng)站建設十余年,網(wǎng)設計領域的專業(yè)建站公司;建站業(yè)務涵蓋:武川等地區(qū)。武川做網(wǎng)站價格咨詢:18980820575
2、下載：https://www.apache.org/dyn/closer.cgi?path=/kafka/0.9.0.1/kafka_2.10-0.9.0.1.tgz
kafka_2.10-0.9.0.1.tgz #2.10指的中Scala版本，0.9.0.1批的是Kafka版本。
3、安裝與配置
解壓：tar xzf kafka_2.10-0.9.0.1.tgz
配置config/server.properties
[root@Hadoop-NN-01 config]# vim server.properties broker.id=1 #唯一，填數(shù)字 port=9092 #端口 host.name=Hadoop-NN-01 #唯一，填服務器IP socket.send.buffer.bytes=1048576 socket.receive.buffer.bytes=1048576 socket.request.max.bytes=104857600 log.dir=/home/hadoopuser/kafka-logs #設置日志的硬盤路徑 num.partitions=1 #分區(qū)數(shù) 關于分區(qū)數(shù)：1天有1億行可以分8個分區(qū)，如果每天幾十萬行就一個分區(qū)。 num.io.threads=8 #為機器的核數(shù) zookeeper.connect=Zookeeper-01:2181,Zookeeper-02:2181,Zookeeper-03:2181 # zookeeper Servers列表，各節(jié)點以逗號分開。
4、配置環(huán)境變量（如果單節(jié)點多個Broker請不要配置）
[root@Hadoop-NN-01 ~]# vim /etc/profile export KAFKA_HOME=/home/hadoopuser/kafka_2.10-0.9.0.1 export PATH=$PATH:$KAFKA_HOME/bin [root@Hadoop-NN-01 ~]# source /etc/profile #使環(huán)境變量生效
5、啟動kafka
[root@Hadoop-NN-01 kafka_2.10-0.9.0.1]$ bin/kafka-server-start.sh config/server.properties &
6、驗證
jps查看一下kafka是否已經(jīng)啟動
7、創(chuàng)建topic：
[root@Hadoop-NN-01 kafka_2.10-0.9.0.1]$ bin/kafka-topics.sh --create --zookeeper Zookeeper-01:2181, Zookeeper-02:2181, Zookeeper-03:2181 --replication-factor 3 --partitions 1 --topic mykafka
8、查看Topic：
[root@Hadoop-NN-01 kafka_2.10-0.9.0.1]$ bin/kafka-topics.sh --list --zookeeper Zookeeper-01:2181, Zookeeper-02:2181, Zookeeper-03:2181 Topic：mykafka
查看詳細信息：
[root@Hadoop-NN-01 kafka_2.10-0.9.0.1]$ bin/kafka-topics.sh --describe --zookeeper Zookeeper-01:2181, Zookeeper-02:2181, Zookeeper-03:2181 Topic: mykafka PartitionCount:1 ReplicationFactor:3 Configs: Topic: mykafka Partition: 0 Leader: 3 Replicas: 3,1,2 Isr: 3,1,2
9、發(fā)送消息：
[root@Hadoop-NN-01 kafka_2.10-0.9.0.1]$ bin/kafka-console-producer.sh --broker-list Hadoop-NN-01:9092 --topic mykafka
10、接收消息：
[root@Hadoop-NN-01 kafka_2.10-0.9.0.1]$ bin/kafka-console-consumer.sh --zookeeper Zookeeper-01:2181 --topic mykafka --from-beginning
注：如果要最新的數(shù)據(jù)，不帶--from-beginning參數(shù)即可。
11、可能出現(xiàn)的錯誤
ERROR：Failed to load class "org.slf4j.impl.StaticLoggerBinder"
解決方法：
下載slf4j-1.7.6.zip wget http://www.slf4j.org/dist/slf4j-1.7.6.zip
把slf4j-nop-1.7.6.jar 包復制到kafka libs目錄下面
12、關于Kafka：
在kafka的核心思路中，不需要在內(nèi)存里緩存數(shù)據(jù)，因為操作系統(tǒng)的文件緩存已經(jīng)足夠完善和強大，只要不做隨機寫，順序讀寫的性能是非常高效的。kafka的數(shù)據(jù)只會順序append，數(shù)據(jù)的刪除策略是累積到一定程度或者超過一定時間再刪除。
Kafka另一個獨特的地方是將消費者信息保存在客戶端而不是MQ服務器，這樣服務器就不用記錄消息的投遞過程，每個客戶端都自己知道自己下一次應該從什么地方什么位置讀取消息，消息的投遞過程也是采用客戶端主動pull的模型，這樣大大減輕了服務器的負擔。
Kafka還強調(diào)減少數(shù)據(jù)的序列化和拷貝開銷，它會將一些消息組織成Message Set做批量存儲和發(fā)送，并且客戶端在pull數(shù)據(jù)的時候，盡量以zero-copy的方式傳輸，利用sendfile(對應Java里的FileChannel.transferTo/transferFrom)這樣的高級IO函數(shù)來減少拷貝開銷?？梢?，kafka是一個精心設計，特定于某些應用的MQ系統(tǒng)，這種偏向特定領域的MQ系統(tǒng)我估計會越來越多，垂直化的產(chǎn)品策略值的考慮。
附：推薦幾個實時監(jiān)控數(shù)據(jù)
zookeeper -> zooinspector
kafka-> kafkaoffsetmonitor
storm-> storm ui
相關閱讀：
本文題目：CentOS6.5安裝Kafka集群
標題來源：http://www.dlmjj.cn/article/cdehcgp.html
