kafka原理以及使用（1）

1 Kafka的特性 高吞吐量、低延迟：kafka每秒可以处理几十万条消息，它的延迟最低只有几毫秒 可扩展性：kafka集群支持热扩展 持久性、可靠性：消息被持久化到本地磁盘，并且支持数据备份防止数据丢失 容错性：允许集群中节点失败（若副本数量为n,则允许n-1个节点失败） 高并发：支持数千个客户端同时读写

2Kafka设计思想和名词解释

kafka有一个核心的概念叫做“Topic”，消息处理的集合。不同的topic做不同的消息处理。下面有Partition，分区，每个topic下有多个partition，不同的partition可以放到不同的服务器上。多台服务器上有partition时，其中有一个Leader，可对外提供读写操作。剩下的都是Follower,需要实时同步。当Leader宕机后，会重新选举一个Follower成为Leader。Kafka 写入数据丢失问题a业务往Leader写入了数据,Leader还没有同步到Follower ，此时Follower成为了Leader ，但是因为数据没同步过去，所以导致这条数据丢失了。Kafka 的 ISR 机制Kafka的核心机制，ISR 机制。自动给每个Partition维护一个ISR 列表,里边的leader和Follower始终是同步的。如果follewer由于自身关系没成功同步leader数据,这个Follower 就会被认为是“out-of-sync”,被从 ISR 列表里踢出去Kafka 写入的数据如何保证不丢失ISR 列表中始终有一个leader和Follower。每次写入数据的时候，只有leader和Follower同时写入成功，才算成功。

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。