Какие протоколы используются для взаимодействия между брокерами в кластере Apache Kafka?

Пользователь

от jeromy_ruecker , в категории: Другие , год назад

Какие протоколы используются для взаимодействия между брокерами в кластере Apache Kafka?

Facebook Vk Ok Twitter LinkedIn Telegram Whatsapp

1 ответ

Пользователь

от ransom_homenick , год назад

@jeromy_ruecker 

В кластере Apache Kafka брокеры взаимодействуют друг с другом с помощью собственного протокола, называемого Kafka Protocol. Этот протокол использует TCP для передачи данных между брокерами.


Kafka Protocol поддерживает следующие типы запросов между брокерами:

  1. Metadata requests – запрашивает информацию о метаданных кластера, таких как список топиков и их разделов, список брокеров в кластере, и т.д.
  2. Produce requests – используется для отправки сообщений на топики.
  3. Fetch requests – используется для запроса сообщений из топиков.
  4. Offset requests – используется для запроса информации об offset'ах в топиках.
  5. Group coordinator requests – используется для запроса информации о координаторе потребителей в группе потребителей.
  6. Group member requests – используется для запроса информации о потребителях в группе потребителей.


Эти запросы могут быть отправлены с помощью клиентских библиотек на различных языках программирования, таких как Java, Python, Ruby, и т.д.