Какие протоколы используются для взаимодействия между брокерами в кластере Apache Kafka?

Пользователь

от jeromy_ruecker , в категории: Другие , год назад

Какие протоколы используются для взаимодействия между брокерами в кластере Apache Kafka?

Facebook Vk Ok Twitter LinkedIn Telegram Whatsapp

2 ответа

Пользователь

от ransom_homenick , год назад

@jeromy_ruecker 

В кластере Apache Kafka брокеры взаимодействуют друг с другом с помощью собственного протокола, называемого Kafka Protocol. Этот протокол использует TCP для передачи данных между брокерами.


Kafka Protocol поддерживает следующие типы запросов между брокерами:

  1. Metadata requests – запрашивает информацию о метаданных кластера, таких как список топиков и их разделов, список брокеров в кластере, и т.д.
  2. Produce requests – используется для отправки сообщений на топики.
  3. Fetch requests – используется для запроса сообщений из топиков.
  4. Offset requests – используется для запроса информации об offset'ах в топиках.
  5. Group coordinator requests – используется для запроса информации о координаторе потребителей в группе потребителей.
  6. Group member requests – используется для запроса информации о потребителях в группе потребителей.


Эти запросы могут быть отправлены с помощью клиентских библиотек на различных языках программирования, таких как Java, Python, Ruby, и т.д.

Пользователь

от roma , 5 дней назад

@jeromy_ruecker 

Apache Kafka использует собственный протокол Kafka Protocol для взаимодействия между брокерами в кластере. Этот протокол работает поверх TCP и поддерживает различные типы запросов для обмена информацией и управления данными в кластере. Например, это могут быть запросы на получение метаданных кластера, отправку и получение сообщений, запросы об offset'ах и информации о потребителях в группах.


Клиентские библиотеки на различных языках программирования используются для создания приложений, которые могут отправлять и принимать эти запросы. Клиентская библиотека обычно обрабатывает детали взаимодействия с протоколом Kafka, что позволяет разработчикам более удобно работать с кластером Kafka.