系統(tǒng)運(yùn)維 Kafka 全量的消息隊(duì)列究竟有哪些？ Kafka、RocketMQ、RabbitMQ的優(yōu)劣勢(shì)比較，以及消息隊(duì)列的選型。

在高并發(fā)業(yè)務(wù)場(chǎng)景下，典型的阿里雙11秒殺等業(yè)務(wù)，消息隊(duì)列中間件在流量削峰、解耦上有不可替代的作用。

今天我們一起來探討：

全量的消息隊(duì)列究竟有哪些？ Kafka、RocketMQ、RabbitMQ的優(yōu)劣勢(shì)比較，以及消息隊(duì)列的選型。

最全MQ消息隊(duì)列有哪些？

那么目前在業(yè)界有哪些比較知名的消息引擎呢？如下圖所示：

這里面幾乎完全列舉了當(dāng)下比較知名的消息引擎，包括：

 ZeroMQ

 推特的Distributedlog

 ActiveMQ：Apache旗下的老牌消息引擎

 RabbitMQ、Kafka：AMQP的默認(rèn)實(shí)現(xiàn)。

 RocketMQ

 Artemis：Apache的ActiveMQ下的子項(xiàng)目

 Apollo：同樣為Apache的ActiveMQ的子項(xiàng)目的號(hào)稱下一代消息引擎

 商業(yè)化的消息引擎IronMQ

 以及實(shí)現(xiàn)了JMS(Java Message Service)標(biāo)準(zhǔn)的OpenMQ。

MQ消息隊(duì)列的技術(shù)應(yīng)用

1.解耦

解耦是消息隊(duì)列要解決的最本質(zhì)問題。

2.最終一致性

最終一致性指的是兩個(gè)系統(tǒng)的狀態(tài)保持一致，要么都成功，要么都失敗。

最終一致性不是消息隊(duì)列的必備特性，但確實(shí)可以依靠消息隊(duì)列來做最終一致性的事情。

3.廣播

消息隊(duì)列的基本功能之一是進(jìn)行廣播。

有了消息隊(duì)列，我們只需要關(guān)心消息是否送達(dá)了隊(duì)列，至于誰(shuí)希望訂閱，是下游的事情，無疑極大地減少了開發(fā)和聯(lián)調(diào)的工作量。

4.錯(cuò)峰與流控

典型的使用場(chǎng)景就是秒殺業(yè)務(wù)用于流量削峰場(chǎng)景。

由于篇幅的關(guān)系，本文重點(diǎn)介紹消息隊(duì)列比較，詳細(xì)應(yīng)用場(chǎng)景請(qǐng)參考：《什么是流量削峰？如何解決秒殺業(yè)務(wù)的削峰場(chǎng)景》。

Kafka、RocketMQ、RabbitMQ比較

1.ActiveMQ

優(yōu)點(diǎn)：

 單機(jī)吞吐量：萬級(jí)

 topic數(shù)量都吞吐量的影響：

 時(shí)效性：ms級(jí)

 可用性：高，基于主從架構(gòu)實(shí)現(xiàn)高可用性

 消息可靠性：有較低的概率丟失數(shù)據(jù)

 功能支持：MQ領(lǐng)域的功能極其完備

缺點(diǎn):

官方社區(qū)現(xiàn)在對(duì)ActiveMQ 5.x維護(hù)越來越少，較少在大規(guī)模吞吐的場(chǎng)景中使用。

2.Kafka

號(hào)稱大數(shù)據(jù)的殺手锏，談到大數(shù)據(jù)領(lǐng)域內(nèi)的消息傳輸，則繞不開Kafka，這款為大數(shù)據(jù)而生的消息中間件，以其百萬級(jí)TPS的吞吐量名聲大噪，迅速成為大數(shù)據(jù)領(lǐng)域的寵兒，在數(shù)據(jù)采集、傳輸、存儲(chǔ)的過程中發(fā)揮著舉足輕重的作用。

Apache Kafka它最初由LinkedIn公司基于獨(dú)特的設(shè)計(jì)實(shí)現(xiàn)為一個(gè)分布式的提交日志系統(tǒng)( a distributed commit log)，之后成為Apache項(xiàng)目的一部分。

目前已經(jīng)被LinkedIn，Uber, Twitter, Netflix等大公司所采納。

優(yōu)點(diǎn)：

 性能好，單機(jī)寫入TPS約在百萬條/秒，優(yōu)點(diǎn)，就是吞吐量高。

 時(shí)效性：ms級(jí)

 可用性：非常高，kafka是分布式的，一個(gè)數(shù)據(jù)多個(gè)副本，少數(shù)機(jī)器宕機(jī)，不會(huì)丟失數(shù)據(jù)，不會(huì)導(dǎo)致不可用

 消費(fèi)者采用Pull方式獲取消息, 消息有序, 通過控制能夠保證所有消息被消費(fèi)且僅被消費(fèi)一次;

 有優(yōu)秀的第三方Kafka Web管理界面Kafka-Manager；

 在日志領(lǐng)域比較成熟，被多家公司和多個(gè)開源項(xiàng)目使用；

 功能支持：功能較為簡(jiǎn)單，主要支持簡(jiǎn)單的MQ功能，在大數(shù)據(jù)領(lǐng)域的實(shí)時(shí)計(jì)算以及日志采集被大規(guī)模使用

缺點(diǎn)：

 Kafka單機(jī)超過64個(gè)隊(duì)列/分區(qū)，Load會(huì)發(fā)生明顯的飆高現(xiàn)象，隊(duì)列越多，load越高，發(fā)送消息響應(yīng)時(shí)間變長(zhǎng)

 使用短輪詢方式，實(shí)時(shí)性取決于輪詢間隔時(shí)間；

 消費(fèi)失敗不支持重試；

 支持消息順序，但是一臺(tái)代理宕機(jī)后，就會(huì)產(chǎn)生消息亂序；

 社區(qū)更新較慢；

3.RabbitMQ

RabbitMQ 2007年發(fā)布，是一個(gè)在AMQP(高級(jí)消息隊(duì)列協(xié)議)基礎(chǔ)上完成的，可復(fù)用的企業(yè)消息系統(tǒng)，是當(dāng)前最主流的消息中間件之一。

RabbitMQ優(yōu)點(diǎn)：

 由于erlang語(yǔ)言的特性，mq 性能較好，高并發(fā)；

 吞吐量到萬級(jí)，MQ功能比較完備

 健壯、穩(wěn)定、易用、跨平臺(tái)、支持多種語(yǔ)言、文檔齊全；

 開源提供的管理界面非常棒，用起來很好用

 社區(qū)活躍度高；

RabbitMQ缺點(diǎn)：

 erlang開發(fā)，很難去看懂源碼，基本職能依賴于開源社區(qū)的快速維護(hù)和修復(fù)bug，不利于做二次開發(fā)和維護(hù)。

 RabbitMQ確實(shí)吞吐量會(huì)低一些，這是因?yàn)樗龅膶?shí)現(xiàn)機(jī)制比較重。

 需要學(xué)習(xí)比較復(fù)雜的接口和協(xié)議，學(xué)習(xí)和維護(hù)成本較高。

4.RocketMQ

RocketMQ出自 阿里公司的開源產(chǎn)品，用 Java 語(yǔ)言實(shí)現(xiàn)，在設(shè)計(jì)時(shí)參考了 Kafka，并做出了自己的一些改進(jìn)。

RocketMQ在阿里集團(tuán)被廣泛應(yīng)用在訂單，交易，充值，流計(jì)算，消息推送，日志流式處理，binglog分發(fā)等場(chǎng)景。

RocketMQ優(yōu)點(diǎn)：

 單機(jī)吞吐量：十萬級(jí)

 可用性：非常高，分布式架構(gòu)

 消息可靠性：經(jīng)過參數(shù)優(yōu)化配置，消息可以做到0丟失

 功能支持：MQ功能較為完善，還是分布式的，擴(kuò)展性好

 支持10億級(jí)別的消息堆積，不會(huì)因?yàn)槎逊e導(dǎo)致性能下降

 源碼是java，我們可以自己閱讀源碼，定制自己公司的MQ，可以掌控

RocketMQ缺點(diǎn)：

 支持的客戶端語(yǔ)言不多，目前是java及c++，其中c++不成熟；

 社區(qū)活躍度一般

 沒有在 mq 核心中去實(shí)現(xiàn)JMS等接口，有些系統(tǒng)要遷移需要修改大量代碼

消息隊(duì)列選擇建議

1.Kafka

Kafka主要特點(diǎn)是基于Pull的模式來處理消息消費(fèi)，追求高吞吐量，一開始的目的就是用于日志收集和傳輸，適合產(chǎn)生大量數(shù)據(jù)的互聯(lián)網(wǎng)服務(wù)的數(shù)據(jù)收集業(yè)務(wù)。

大型公司建議可以選用，如果有日志采集功能，肯定是kafka了。

2.RocketMQ

天生為金融互聯(lián)網(wǎng)領(lǐng)域而生，對(duì)于可靠性要求很高的場(chǎng)景，尤其是電商里面的訂單扣款，以及業(yè)務(wù)削峰，在大量交易涌入時(shí)，后端可能無法及時(shí)處理的情況。

RoketMQ在穩(wěn)定性上可能更值得信賴，這些業(yè)務(wù)場(chǎng)景在阿里雙11已經(jīng)經(jīng)歷了多次考驗(yàn)，如果你的業(yè)務(wù)有上述并發(fā)場(chǎng)景，建議可以選擇RocketMQ。

3.RabbitMQ

RabbitMQ :結(jié)合erlang語(yǔ)言本身的并發(fā)優(yōu)勢(shì)，性能較好，社區(qū)活躍度也比較高，但是不利于做二次開發(fā)和維護(hù)。不過，RabbitMQ的社區(qū)十分活躍，可以解決開發(fā)過程中遇到的bug。

如果你的數(shù)據(jù)量沒有那么大，小公司優(yōu)先選擇功能比較完備的RabbitMQ。

當(dāng)前文章：高并發(fā)架構(gòu)系列：Kafka、RocketMQ、RabbitMQ的優(yōu)劣勢(shì)比較
文章轉(zhuǎn)載：http://www.dlmjj.cn/article/djsepjj.html