主流消息队列和技术选型
对比当下主流的消息队列和选择问题
Apache ActiveMQ、Kafka、RabbitMQ、RocketMQo
ActiveMQ
Apache出品,历史悠久,支持多种语言的客户端和协议,支持多种语言Java,.NET,C++等,基于 JMS Provider 的实现
缺点:吞吐量不高,多队列的时候性能下降,存在消息丢失的情况,比较少大规模使用
Kafka
是由Apache软件基金会开发的一个开源流处理平台,由 Scala 和 Java 编写。Kafka 是一种高吞吐量的分布式发布订阅消息系统,它可以处理大规模的网站中的所有动作流数据(网页浏览,搜索和其他用户的行动),副本集机制,实现数据余,保障数据尽量不丢失;支持多个生产者和消费者
缺点:不支持批量和广播消息,运维难度大,文档比较少,需要掌握Scala
RabbitMQ
是一个开源的 AMQP 实现,服务器端用 Erlang 语言编写,支持多种客户端,如:Python、Ruby、.NET、Java、JMS、C、用于在分布式系统中存储转发消息,在易用性、扩展性、高可用性等方面表现不错
缺点:使用 Erlang 开发,阅读和修改源码难度大。
RocketMQ
阿里开源的一款的消息中间件,纯 Java 开发,具有高吞吐量、高可用性、适合大规模分布式系统应用的特点,性能强劲(零拷贝技术),支持海量堆积,支持指定次数和时间间隔的失败消息重发,支持 consumer 端 tag 过滤、延迟消息等,在阿里内部进行大规模使用,适合在电商,互联网金融等领域使用
RabbitMQ 和 RocketMQ
在低延迟场景下,RabbitMQ 的延迟表现优于 RocketMQ;高负载时 RocketMQ 的吞吐量优势更明显,但存储开销较大。
常见 MQ 的对比
| 特性 | RabbitMQ | ActiveMQ | RocketMQ | Kafka |
|---|---|---|---|---|
| 公司/社区 | Rabbit | Apache | 阿里 | Apache |
| 开发语言 | Erlang | Java | Java | Scala & Java |
| 协议支持 | AMQP,XMPP,SMTP,STOMP | OpenWire, STOMP,REST,XMPP,AMQP | 自定义协议 | 自定义协议 |
| 可用性 | 高 | 一般 | 高 | 高 |
| 单机吞吐量 | 一般 | 差 | 高 | 非常高 |
| 消息延迟 | 微秒级 | 毫秒级 | 毫秒级 | 毫秒以内 |
| 消息可靠性 | 高 | 一般 | 高 | 一般 |
剑鸣秋朔