消息中间件-Kafkappt课件.ppt

《消息中间件-Kafkappt课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、Kafka一、MQ系统二、Kafka架构三、Kafka命令四、配置文件MQ系统一、Redis二、ZeroMQ三、ActiveMQ四、RocketMQ五、KafkaMQ系统RedisRedis是一个NoSQL数据库处理小流量的消息队列不适用于大流量的应用场景MQ系统ActiveMQActiveMQ2007年发布第一个版本(同年JDK1.5发布)被广泛应用于零售、银行、电子商务和政府等领域。稳定性好，性能还过得去。缺少异步JavaAPI和NIO支持，在高资源配置的计算机上扩展性不佳。Apollo重写了ActiveMQ内核，Apac

2、he称其为最快、最强健的STOMP（StreamingTextOrientatedMessageProtocol，流文本定向消息协议）服务器。github一年多没更新，网传Apollo项目已经失败MQ系统ZeroMQ不支持序列化，阅后即焚。如果服务器宕机，数据将丢失ZeroMQ本身只是一个网络协议栈的实现库.使用过程中由应用服务器扮演服务器的角色ZeroMQ的目标是，成为Linux内核的一部分逆天的性能MQ系统KafakVSRocketMQ定位Kafak：由Linkin开源，用于即时的日志传输RocketMQ：由淘宝开源，实现

3、非日志的可靠消息传输，用于交易、订单、充值等场景TPS性能kafka单机写入TPS在百万条/秒，消息大小为10bRocketMQ单机7万条/秒，消息大小为10b队列数kafak单机超过64个队列/分区，Load会发生明显的飙高现象RocketMQ最高支持5万队列实时性Kafka使用短轮询方式，实时性取决于轮询间隔时间RocketMQ使用长轮询，同Push方式实时性一致，消息的投递延时通常在几个毫秒。成熟度Kafka在日志领域比较成熟，操作系统Crash，会导致数据丢失RocketMQ在阿里集团内部有大量的应用在使用，不会丢消息

4、MQ系统总结Kafka架构系统结构kafkaclusterBroker1Broker2Broker3Producer-AProducer-BProducer-CConsumer-AConsumer-AConsumer-CZookeeper基础架构Kafka架构基本概念主题：topic分区：partition消息：message生产者：producer消费者：consumergroup消息队列：brokerProducerTopicConsumerGroupPartitionConsumer11..N11..NKafka架构ka

5、fka消息流程图topic消息队列Producer-AProducer-BConsumerconsumergrouppartitionproducer本地磁盘注1：消息队列依赖于本地磁盘注2：默认情况下，磁盘存储会保存7天Kafka架构kafka消息流程图topic消息队列Producer-AProducer-BConsumerconsumergrouppartitionproducer本地磁盘1本地磁盘2注1：在一个由6个7200rpm的SATA硬盘组成的RAID-5磁盘阵列上，线性写入的速度大约是300MB/秒，随机写入却

6、只有50k/秒。注2：在某些情况下，顺序磁盘访问能够比【随机】内存访问还要快！Kafka架构kafka集群运行流程图broker(1)broker(2)topic13741282109611Producer-AProducer-BConsumer-AConsumer-BConsumer-Cconsumergrouppartition1partition2partition3producerKafka架构topic&partitiontopicbroker(1)13741282broker(2)109611Producer-AP

7、roducer-BConsumer-AConsumer-BConsumer-Cconsumergrouppartition1partition2partition3producerproducer怎么保证业务有序？1、每个partition对应一个文件（夹）2、分文件存储利于增加topic消息容量3、把partition放在不同磁盘上，可以提高读写性能4、把partition分散在不同机器上，支持负载均衡5、通过迁移单个partition，实现快速水平扩展6、partition内有序，partition间无序Kafka架构pr

8、oducertopicbroker(1)13741282broker(2)109611Producer-AProducer-BConsumer-AConsumer-BConsumer-Cconsumergrouppartition1partition2partition3pr