Kafka ClickPipes Часто задаваемые вопросы
Kafka ClickPipes FAQ
Общие вопросы
Как работает ClickPipes для Kafka?
ClickPipes использует специализированную архитектуру, работающую на API потребителя Kafka для чтения данных из заданной темы, а затем вставляет данные в таблицу ClickHouse на конкретном сервисе ClickHouse Cloud.
В чем разница между ClickPipes и движком таблиц ClickHouse для Kafka?
Движок таблиц Kafka является основной возможностью ClickHouse, которая реализует "модель вытягивания", где сам сервер ClickHouse подключается к Kafka, извлекает события и затем записывает их локально.
ClickPipes - это отдельный облачный сервис, который работает независимо от сервиса ClickHouse. Он подключается к Kafka (или другим источникам данных) и отправляет события на связанный сервис ClickHouse Cloud. Эта раздельная архитектура обеспечивает превосходную операционную гибкость, четкое разделение задач, масштабируемый прием данных, управление отказами и многое другое.
Каковы требования для использования ClickPipes для Kafka?
Чтобы использовать ClickPipes для Kafka, вам потребуется работающий брокер Kafka и сервис ClickHouse Cloud с активированным ClickPipes. Также необходимо убедиться, что ClickHouse Cloud может получить доступ к вашему брокеру Kafka. Это можно сделать, разрешив удаленное подключение на стороне Kafka, добавив IP-адреса выходящего трафика ClickHouse Cloud в белый список в вашей настройке Kafka. В качестве альтернативы, вы можете использовать AWS PrivateLink для подключения ClickPipes для Kafka к вашим брокерам Kafka.
Поддерживает ли ClickPipes для Kafka AWS PrivateLink?
AWS PrivateLink поддерживается. См. документацию для получения дополнительной информации о том, как его настроить.
Могу ли я использовать ClickPipes для Kafka для записи данных в тему Kafka?
Нет, ClickPipes для Kafka предназначен для чтения данных из тем Kafka, а не для записи данных в них. Чтобы записать данные в тему Kafka, вам понадобится использовать специализированный продюсер Kafka.
Поддерживает ли ClickPipes несколько брокеров?
Да, если брокеры являются частью одного кворума, их можно настроить вместе, разделив запятой ,.
Могут ли реплики ClickPipes быть масштабированы?
Да, ClickPipes для потоковой передачи могут быть масштабированы как горизонтально, так и вертикально. Горизонтальное масштабирование добавляет больше реплик для увеличения пропускной способности, в то время как вертикальное масштабирование увеличивает ресурсы (CPU и RAM), выделенные каждой реплике для обработки более интенсивных нагрузок. Это можно настроить во время создания ClickPipe или в любое другое время в разделе Настройки -> Расширенные настройки -> Масштабирование.
Azure Event Hubs
Работает ли ClickPipe для Azure Event Hubs без Kafka поверхности?
Нет. ClickPipes требует, чтобы пространство имен Event Hubs имело включенную Kafka поверхность. Это доступно только на уровнях выше базового. См. документацию Azure Event Hubs для получения дополнительной информации.
Работает ли Azure Schema Registry с ClickPipes?
Нет. ClickPipes поддерживает только регистраторы схем, которые совместимы с API Confluent Schema Registry, что не относится к Azure Schema Registry. Если вам нужна поддержка этого регистра схем, свяжитесь с нашей командой.
Какие разрешения нужны моей политике, чтобы потреблять данные из Azure Event Hubs?
Чтобы перечислить темы и потреблять события, совместная политика доступа, предоставленная ClickPipes, требует, как минимум, права 'Listen'.
Почему мой Event Hubs не возвращает никаких данных?
Если ваш экземпляр ClickHouse находится в другом регионе или на другом континенте от вашего развертывания Event Hubs, вы можете столкнуться с тайм-аутами при подключении ваших ClickPipes и высоким временем задержки при потреблении данных из Event Hub. Мы рекомендуем развертывать ClickHouse Cloud и Azure Event Hubs в одном облачном регионе или в региона, расположенные близко друг к другу, чтобы избежать потерь в производительности.
Следует ли включать номер порта для Azure Event Hubs?
Да. ClickPipes ожидает, что вы включите номер порта для Kafka поверхности, который должен быть :9093.
Актуальны ли IP-адреса ClickPipes для Azure Event Hubs?
Да. Чтобы ограничить трафик к вашему экземпляру Event Hubs, пожалуйста, добавьте документированные статические NAT IPs в белый список.
Является ли строка подключения для Event Hub или для пространства имен Event Hub?
Обе работают. Мы настоятельно рекомендуем использовать совместную политику доступа на уровне пространства имен, чтобы получить образцы из нескольких Event Hubs.
