关于java：Kafka领导人选举导致Kafka Streams崩溃


Kafka leader election causes Kafka Streams crash

我有一个 Kafka Streams 应用程序从 Kafka 集群消费和生产，该集群有 3 个代理和复制因子 3。除了消费者偏移主题(50 个分区)之外，所有其他主题每个只有一个分区。

当代理尝试首选副本选举时，Streams 应用程序(运行在与代理完全不同的实例上)失败并显示错误：

1
2
3
4
5
Caused by: org.apache.kafka.streams.errors.StreamsException: task [0_0] exception caught when producing
    at org.apache.kafka.streams.processor.internals.RecordCollectorImpl.checkForException(RecordCollectorImpl.java:119)
    ...
    at org.apache.kafka.streams.processor.internals.StreamTask.process(StreamTask.java:197)
Caused by: org.apache.kafka.common.errors.NotLeaderForPartitionException: This server is not the leader for that topic-partition.

Streams 应用程序尝试成为分区的领导者是否正常，因为它运行在不属于 Kafka 集群的服务器上？

我可以通过以下方式按需重现此行为：

  • 杀死其中一个经纪人(然后其他 2 个作为领导者接管以被杀死经纪人作为领导者的所有分区，正如预期的那样)
  • 让被杀的经纪人重新站起来
  • 使用 bin/kafka-preferred-replica-election.sh --zookeeper localhost 触发首选副本领导者选举

    • 我的问题似乎与这个报告的失败类似，所以我想知道这是否是一个新的 Kafka Streams 错误。我的完整堆栈跟踪实际上与报告的失败(此处)中链接的要点完全相同。

    另一个可能有趣的细节是，在领导选举期间，我在代理的 controller.log 中收到这些消息：

    1
    2
    3
    4
    5
    6
    7
    8
    [2017-04-12 11:07:50,940] WARN [Controller-3-to-broker-3-send-thread], Controller 3's connection to broker BROKER-3-HOSTNAME:9092 (id: 3 rack: null) was unsuccessful (kafka.controller.RequestSendThread)
    java.io.IOException: Connection to BROKER-3-HOSTNAME:9092 (id: 3 rack: null) failed
        at kafka.utils.NetworkClientBlockingOps$.awaitReady$1(NetworkClientBlockingOps.scala:84)
        at kafka.utils.NetworkClientBlockingOps$.blockingReady$extension(NetworkClientBlockingOps.scala:94)
        at kafka.controller.RequestSendThread.brokerReady(ControllerChannelManager.scala:232)
        at kafka.controller.RequestSendThread.liftedTree1$1(ControllerChannelManager.scala:185)
        at kafka.controller.RequestSendThread.doWork(ControllerChannelManager.scala:184)
        at kafka.utils.ShutdownableThread.run(ShutdownableThread.scala:63)

    我一开始以为是这个连接错误，但是在领导选举导致 Streams 应用程序崩溃后，如果我重新启动 Streams 应用程序，它会正常工作，直到下一次选举，而我根本不需要接触代理。

    所有服务器(3 个 Kafka 代理和 Streams 应用程序)都在 EC2 实例上运行。

    这个问题现在在 0.10.2.1 中得到修复。如果您无法选择，请确保在您的流配置中按如下方式设置这两个参数：

    1
    2
    3
    4
    final Properties props = new Properties();
    ...
    props.put(ProducerConfig.RETRIES_CONFIG, 10);  
    props.put(ConsumerConfig.MAX_POLL_INTERVAL_MS_CONFIG, Integer.toString(Integer.MAX_VALUE));
    相关讨论