Перейти к основному содержимому
Перейти к основному содержимому

Интеграция Confluent Cloud с ClickHouse

Предварительные условия​

Мы предполагаем, что вы знакомы с:

Официальный Kafka коннектор от ClickHouse для Confluent Cloud​

Создание темы​

Создание темы в Confluent Cloud довольно просто, и подробные инструкции можно найти здесь.

Важные заметки​

  • Имя темы Kafka должно совпадать с именем таблицы ClickHouse. Можно изменить это, используя трансформатор (например, ExtractTopic).
  • Большее количество партиций не всегда означает большую производительность - смотрите наше предстоящее руководство для получения дополнительных сведений и советов по производительности.

Соберите детали подключения​

Чтобы подключиться к ClickHouse с помощью HTTP(S), вам необходима следующая информация:

  • ХОСТ и ПОРТ: как правило, порт 8443 при использовании TLS или 8123 при отсутствии TLS.

  • ИМЯ БАЗЫ ДАННЫХ: по умолчанию существует база данных с именем default, используйте имя базы данных, к которой вы хотите подключиться.

  • ИМЯ ПОЛЬЗОВАТЕЛЯ и ПАРОЛЬ: по умолчанию имя пользователя default. Используйте имя пользователя, подходящее для вашего случая.

Данные для вашего сервиса ClickHouse Cloud доступны в консоли ClickHouse Cloud. Выберите сервис, к которому вы хотите подключиться, и нажмите Подключиться:

Кнопка подключения к сервису ClickHouse Cloud

Выберите HTTPS, и данные будут доступны в примере команды curl.

Детали подключения ClickHouse Cloud по HTTPS

Если вы используете самоуправляемый ClickHouse, детали подключения устанавливаются вашим администратором ClickHouse.

Установите коннектор​

Установите полностью управляемый ClickHouse Sink Connector в Confluent Cloud, следуя официальной документации.

Настройте коннектор​

Во время настройки ClickHouse Sink Connector вам нужно будет предоставить следующие детали:

  • hostname вашего сервера ClickHouse
  • порт вашего сервера ClickHouse (по умолчанию 8443)
  • имя пользователя и пароль для вашего сервера ClickHouse
  • название базы данных в ClickHouse, в которую будут записываться данные
  • имя темы в Kafka, которая будет использоваться для записи данных в ClickHouse

Интерфейс пользователя Confluent Cloud поддерживает дополнительные настройки для регулировки интервалов опроса, размеров пакетов и других параметров для оптимизации производительности.

Известные ограничения​