保证消息不丢失（Kafka）

一、消息丢失的三大场景与解决方案

Kafka消息丢失主要发生在生产者发送、Broker存储、消费者接收三个环节，对应解决方案如下：

1. 生产者发送阶段

• 异步发送+回调：发送消息时注册回调，失败时记录日志或重发
• 失败重试：配置retries参数设置重试次数，避免单次发送失败导致丢失

2. Broker存储阶段

通过acks发送确认机制保障数据持久化：

• acks=0：生产者不等待Broker响应，可能丢失数据，性能最快
• acks=1（默认）：等待分区Leader节点写入成功后响应，存在副本同步失败丢失风险
• acks=all：等待所有ISR副本写入成功后响应，数据最安全，推荐生产环境使用

3. 消费者接收阶段

• 关闭自动提交偏移量，改为手动提交，避免消费失败但偏移量已提交导致的消息丢失
• 提交方式可选择同步提交、异步提交或同步+异步组合提交，平衡可靠性与性能

---

二、什么是偏移量（Offset）？

• 定义：Kafka中，每个分区内的消息按顺序存储，每个消息都有一个唯一的序号，这个序号就是偏移量。
• 作用：
  1. 定位消息：消费者通过偏移量确定自己消费到了分区的哪个位置
  2. 记录消费进度：消费者提交偏移量后，Kafka会记录该消费者组在对应分区的消费位置，下次启动时从该位置继续消费
  3. 避免重复消费/丢失：如果消费者自动提交偏移量，但业务还没处理完就宕机，会导致消息丢失；如果处理完但未提交偏移量，会导致重复消费。

---

三、幂等方案包括什么？

幂等性是解决重复消费的核心，常见实现方案：

1. 数据库唯一约束：为每条消息设置业务唯一标识（如订单ID、支付ID），消费时先查询是否已处理，已处理则跳过
2. 分布式锁：基于Redis或ZooKeeper实现分布式锁，同一时间只有一个线程处理同一条消息
3. 状态机控制：通过业务表的状态字段（如订单状态）判断消息是否已处理，只有未处理状态的消息才执行业务逻辑
4. 消息ID防重：生产者为每条消息生成唯一ID，消费者记录已处理的消息ID，重复ID直接跳过

---

四、面试回答模板

问：Kafka中如何保证消息不丢失？答： 我会从三个环节保障消息不丢失：生产者端通过异步发送+回调+失败重试机制，确保消息成功发送到Broker；Broker端配置acks=all，等待所有副本写入成功后再响应，保障数据持久化；消费者端关闭自动提交偏移量，采用手动提交方式，业务处理成功后再提交偏移量，避免消费失败导致的消息丢失，三者结合实现消息全链路可靠传递。

问：Kafka中的偏移量是什么？有什么作用？答： 偏移量是Kafka分区内消息的唯一序号，消费者通过它定位消息并记录消费进度。消费者提交偏移量后，Kafka会记录该消费者组的消费位置，下次启动时从该位置继续消费。它是控制消息是否重复消费或丢失的关键，因此高可靠场景下通常会关闭自动提交，改为手动提交。

问：Kafka中如何解决重复消费问题？有哪些幂等方案？答： 核心是实现幂等性，常见方案包括：基于业务唯一标识的数据库防重、分布式锁控制、状态机校验、消息ID记录等。生产环境中通常会结合手动提交偏移量和幂等方案，既避免消息丢失，又防止重复执行业务逻辑。