Перейти к основному содержанию

​
Введение

ClickPipes — это управляемая интеграционная платформа, которая сводит ингестию данных из самых разных источников к нескольким нажатиям кнопок. Созданная для самых требовательных рабочих нагрузок, надёжная и масштабируемая архитектура ClickPipes обеспечивает стабильно высокую производительность и надёжность. ClickPipes можно использовать как для долгосрочного стриминга, так и для одноразовой загрузки данных. ClickPipes можно развёртывать и управлять ими вручную через интерфейс ClickPipes, а также программно с помощью OpenAPI и Terraform.

​
Поддерживаемые источники данных

В ClickPipes будут добавляться новые коннекторы; подробнее можно узнать, связавшись с нами.

​
Список статических IP-адресов

В следующих таблицах перечислены статические NAT IP-адреса, которые ClickPipes использует для подключения к вашим внешним сервисам. Добавьте IP-адреса региона ClickPipes, обслуживающего ваш сервис ClickHouse Cloud, в список разрешённых IP-адресов. В случае с пайпами объектного хранилища также добавьте IP-адреса кластера ClickHouse в список разрешённых IP-адресов. Сервисы в регионах Google Cloud, перечисленных в таблице Google Cloud ниже, используют эти IP-адреса Google Cloud только в том случае, если в сервисе не было ClickPipes, созданных до 15 июня 2026 года. Сервисы в этих регионах с уже существовавшими ClickPipes до 15 июня 2026 года продолжают использовать IP-адреса региона по умолчанию, указанные ниже. Для остальных сервисов трафик ClickPipes будет исходить из региона по умолчанию в зависимости от расположения сервиса:
  • eu-central-1: Для всех регионов ЕС, не указанных явно, а также для регионов Azure в ЕС и сервисов Google Cloud в ЕС с уже существовавшими ClickPipes до 15 июня 2026 года.
  • eu-west-1: Для всех сервисов в AWS eu-west-1, созданных 20 января 2026 года или позднее (сервисы, созданные до этой даты, используют IP-адреса eu-central-1).
  • us-east-1: Для всех сервисов в AWS us-east-1.
  • ap-south-1: Для сервисов в AWS ap-south-1, созданных 25 июня 2025 года или позднее (сервисы, созданные до этой даты, используют IP-адреса us-east-2).
  • ap-northeast-2: Для сервисов в AWS ap-northeast-2, созданных 14 ноября 2025 года или позднее (сервисы, созданные до этой даты, используют IP-адреса us-east-2).
  • af-south-1: Для сервисов в AWS af-south-1, созданных 15 апреля 2026 года или позднее (сервисы, созданные до этой даты, используют IP-адреса us-east-2).
  • ap-east-1: Для сервисов в AWS ap-east-1, созданных 15 апреля 2026 года или позднее (сервисы, созданные до этой даты, используют IP-адреса us-east-2).
  • ap-northeast-1: Для сервисов в AWS ap-northeast-1, созданных 15 апреля 2026 года или позднее (сервисы, созданные до этой даты, используют IP-адреса us-east-2).
  • ap-southeast-1: Для сервисов в AWS ap-southeast-1, созданных 18 марта 2026 года или позднее (сервисы, созданные до этой даты, используют IP-адреса us-east-2).
  • ap-southeast-2: Для сервисов в AWS ap-southeast-2, созданных 25 июня 2025 года или позднее (сервисы, созданные до этой даты, используют IP-адреса us-east-2).
  • ap-southeast-3: Для сервисов в AWS ap-southeast-3, созданных 6 марта 2026 года или позднее (сервисы, созданные до этой даты, используют IP-адреса us-east-2).
  • ca-central-1: Для сервисов в AWS ca-central-1, созданных 15 апреля 2026 года или позднее (сервисы, созданные до этой даты, используют IP-адреса us-east-2).
  • eu-north-1: Для сервисов в AWS eu-north-1, созданных 15 апреля 2026 года или позднее (сервисы, созданные до этой даты, используют IP-адреса eu-central-1).
  • eu-west-2: Для сервисов в AWS eu-west-2, созданных 15 апреля 2026 года или позднее (сервисы, созданные до этой даты, используют IP-адреса eu-central-1).
  • il-central-1: Для сервисов в AWS il-central-1, созданных 15 апреля 2026 года или позднее (сервисы, созданные до этой даты, используют IP-адреса us-east-2).
  • mx-central-1: Для сервисов в AWS mx-central-1, созданных 19 мая 2026 года или позднее (сервисы, созданные до этой даты, используют IP-адреса us-east-2).
  • sa-east-1: Для сервисов в AWS sa-east-1, созданных 15 апреля 2026 года или позднее (сервисы, созданные до этой даты, используют IP-адреса us-east-2).
  • us-west-2: Для сервисов в AWS us-west-2, созданных 24 июня 2025 года или позднее (сервисы, созданные до этой даты, используют IP-адреса us-east-2).
  • us-east-2: Для всех остальных регионов, которые не подпадают под приведённые выше правила, включая регионы Azure и сервисы Google Cloud с уже существовавшими ClickPipes до 15 июня 2026 года.

​
Статические NAT IP-адреса в AWS

​
Google Cloud статические NAT IP-адреса

​
Настройка параметров ClickHouse

ClickHouse Cloud предоставляет оптимальные настройки по умолчанию для большинства сценариев использования. Однако если вам нужно изменить некоторые параметры ClickHouse для целевых таблиц ClickPipes, наиболее гибким решением будет отдельная роль для ClickPipes. Шаги:
  1. создайте пользовательскую роль CREATE ROLE my_clickpipes_role SETTINGS .... Подробнее см. в разделе о синтаксисе CREATE ROLE.
  2. добавьте пользовательскую роль пользователю ClickPipes на этапе Details and Settings при создании ClickPipes.

​
Настройка расширенных настроек ClickPipes

ClickPipes предлагает разумные настройки по умолчанию, подходящие для большинства сценариев использования. Если в вашем случае требуется более тонкая настройка, вы можете изменить следующие параметры:

​
ClickPipes для объектного хранилища

​
ClickPipes для стриминга

​
Отчёт об ошибках

ClickPipes хранит ошибки в двух отдельных таблицах в зависимости от типа ошибки, возникшей во время ингестии.

​
Ошибки записей

ClickPipes создаст рядом с вашей целевой таблицей таблицу с постфиксом <destination_table_name>_clickpipes_error. В этой таблице будут содержаться все ошибки, вызванные некорректными данными или несоответствием схемы, а также полное содержимое недопустимого сообщения. Для этой таблицы установлен TTL 7 дней.

​
Системные ошибки

Ошибки, связанные с работой ClickPipe, будут храниться в таблице system.clickpipes_log. В ней будут храниться все прочие ошибки, связанные с работой вашего ClickPipe (сетевые ошибки, проблемы с подключением и т. д.). Для этой таблицы TTL составляет 7 дней. Если ClickPipes не сможет подключиться к источнику данных в течение 15 минут или к пункту назначения в течение 1 часа, экземпляр ClickPipes будет остановлен, а в системной таблице ошибок будет сохранено соответствующее сообщение (при условии, что экземпляр ClickHouse доступен).

​
Мониторинг

Помимо мониторинга в консоли, ClickPipes предоставляет метрики через совместимую с Prometheus конечную точку для сбора. Эти метрики публикуются вместе с другими метриками сервиса ClickHouse Cloud и позволяют интегрировать мониторинг ClickPipes с вашим существующим стеком обсервабилити (например, Grafana, Datadog). Полный список доступных метрик см. в разделе Мониторинг ClickPipes.

​
FAQ

  • Что такое ClickPipes? ClickPipes — это возможность ClickHouse Cloud, которая упрощает подключение сервисов ClickHouse к внешним источникам данных, в частности к Kafka. С ClickPipes for Kafka вы можете легко организовать непрерывную загрузку данных в ClickHouse, делая их доступными для Real-time аналитики.
  • Поддерживает ли ClickPipes преобразование данных? Да, ClickPipes поддерживает базовое преобразование данных, предоставляя доступ к созданию DDL. Затем по мере загрузки данных в целевую таблицу в сервисе ClickHouse Cloud вы можете применять к ним более сложные преобразования с помощью возможности materialized view ClickHouse.
  • Влечет ли использование ClickPipes дополнительные расходы? ClickPipes тарифицируется по двум параметрам: принимаемые данные и Compute. Подробная информация о ценах доступна на этой странице. Использование ClickPipes также может косвенно приводить к дополнительным затратам на compute и хранилище в целевом сервисе ClickHouse Cloud, как и любая рабочая нагрузка приёма данных.
  • Есть ли способ обрабатывать ошибки или сбои при использовании ClickPipes for Kafka? Да, ClickPipes for Kafka автоматически выполняет повторные попытки при сбоях во время чтения данных из Kafka, вызванных любыми эксплуатационными проблемами, включая сетевые проблемы, проблемы с подключением и т. д. В случае некорректно сформированных данных или недопустимой схемы ClickPipes сохранит запись в таблицу record_error и продолжит обработку.
Последнее изменение 1 июля 2026 г.