Табличная функция hudiCluster

Расширение табличной функции hudi. Позволяет параллельно обрабатывать файлы из таблиц Apache Hudi в Amazon S3 на множестве узлов указанного кластера.

Это расширение табличной функции hudi.

Позволяет параллельно обрабатывать файлы из таблиц Apache Hudi в Amazon S3 на множестве узлов указанного кластера. На узле-инициаторе создаётся соединение со всеми узлами кластера, после чего каждый файл динамически распределяется между ними. На узле-воркере у инициатора запрашивается следующая задача на обработку, и затем она обрабатывается. Это повторяется, пока не будут завершены все задачи.

​

Синтаксис

hudiCluster(cluster_name, url [,aws_access_key_id, aws_secret_access_key] [,format] [,structure] [,compression] [,extra_credentials])

​

Аргументы

Аргумент	Описание
cluster_name	Имя кластера, используемое для формирования набора адресов и параметров подключения к удалённым и локальным серверам.
url	URL бакета с путём к существующей таблице Hudi в S3.
aws_access_key_id, aws_secret_access_key	Долговременные учётные данные пользователя аккаунта AWS. Их можно использовать для аутентификации запросов. Эти параметры необязательны. Если учётные данные не указаны, будут использованы значения из конфигурации ClickHouse. Дополнительные сведения см. в разделе Using S3 for Data Storage.
format	Формат файла.
structure	Структура таблицы. Формат: 'column1_name column1_type, column2_name column2_type, ...'.
compression	Параметр необязателен. Поддерживаемые значения: none, gzip/gz, brotli/br, xz/LZMA, zstd/zst. По умолчанию сжатие определяется автоматически по расширению файла.
extra_credentials	Параметр необязателен. Используется для передачи role_arn для доступа на основе ролей в ClickHouse Cloud. Инструкции по настройке см. в разделе Secure S3.

​

Возвращаемое значение

Таблица с указанной структурой для чтения данных из указанной таблицы Hudi в S3 на заданном кластере.

​

Виртуальные столбцы

• _path — Путь к файлу. Тип: LowCardinality(String).
• _file — Имя файла. Тип: LowCardinality(String).
• _size — Размер файла в байтах. Тип: Nullable(UInt64). Если размер файла неизвестен, значение равно NULL.
• _time — Время последнего изменения файла. Тип: Nullable(DateTime). Если время неизвестно, значение равно NULL.
• _etag — ETag файла. Тип: LowCardinality(String). Если ETag неизвестен, значение равно NULL.

​

См. также

• Движок Hudi
• Табличная функция Hudi