Контроль синхронизации MySQL ClickPipe
Этот документ описывает, как контролировать синхронизацию MySQL ClickPipe, когда ClickPipe находится в режиме CDC (Работающий).
Обзор
Базы данных ClickPipe имеют архитектуру, состоящую из двух параллельных процессов - извлечение данных из исходной базы данных и отправка их в целевую базу данных. Процесс извлечения контролируется конфигурацией синхронизации, которая определяет, как часто данные должны извлекаться и сколько данных должно быть извлечено за раз. Под "за раз" мы подразумеваем одну партию - так как ClickPipe извлекает и отправляет данные партиями.
Существует два основных способа контроля синхронизации MySQL ClickPipe. ClickPipe начнет отправку, когда одно из следующих настроек будет активировано.
Интервал синхронизации
Интервал синхронизации трубопровода - это количество времени (в секундах), в течение которого ClickPipe будет извлекать записи из исходной базы данных. Время на отправку того, что у нас есть, в ClickHouse не включается в этот интервал.
По умолчанию он составляет 1 минуту. Интервал синхронизации можно установить на любое положительное целое значение, но рекомендуется держать его выше 10 секунд.
Размер извлекаемой партии
Размер извлекаемой партии - это количество записей, которые ClickPipe будет извлекать из исходной базы данных за одну партию. Записи означают вставки, обновления и удаления, выполненные в таблицах, которые являются частью трубопровода.
По умолчанию это составляет 100,000 записей. Безопасный максимум - 10 миллионов.
Исключение: Долгосрочные транзакции на исходной стороне
Когда транзакция выполняется на исходной базе данных, ClickPipe ждет, пока не получит COMMIT транзакции, прежде чем продолжить. Это перекрывает как интервал синхронизации, так и размер извлекаемой партии.
Настройка параметров синхронизации
Вы можете установить интервал синхронизации и размер извлекаемой партии при создании ClickPipe или редактировании существующего. При создании ClickPipe это будет видно на втором шаге мастера создания, как показано ниже:
При редактировании существующего ClickPipe вы можете перейти на вкладку Настройки трубопровода, приостановить трубопровод, а затем нажать Настроить здесь:
Это откроет выдвижное меню с параметрами синхронизации, где вы можете изменить интервал синхронизации и размер извлекаемой партии:
Мониторинг поведения управления синхронизацией
Вы можете увидеть, сколько времени занимает каждая партия в таблице CDC Syncs на вкладке Метрики ClickPipe. Обратите внимание, что длительность здесь включает время отправки, а также, если нет входящих строк, ClickPipe ждет, и время ожидания также включается в длительность.
