Запросы к системной базе данных ClickHouse

Отслеживайте ClickHouse Cloud, напрямую запрашивая системные таблицы

Во всех экземплярах ClickHouse есть набор системных таблиц в базе данных system, которые содержат информацию о:

• Состоянии сервера, процессах и окружении.
• Внутренних процессах сервера.
• Параметрах, использованных при сборке бинарного файла ClickHouse.

Запросы к этим таблицам полезны для мониторинга развертываний ClickHouse, особенно для углублённой интроспекции и отладки.

​

Использование консоли ClickHouse Cloud

Консоль ClickHouse Cloud включает SQL-консоль и инструменты для создания панелей мониторинга, которые можно использовать для выполнения запросов к системным таблицам. Например, приведённый ниже запрос показывает, сколько новых частей создаётся за последние два часа и как часто это происходит:

SELECT
    count() AS new_parts,
    toStartOfMinute(event_time) AS modification_time_m,
    table,
    sum(rows) AS total_written_rows,
    formatReadableSize(sum(size_in_bytes)) AS total_bytes_on_disk
FROM clusterAllReplicas(default, system.part_log)
WHERE (event_type = 'NewPart') AND (event_time > (now() - toIntervalHour(2)))
GROUP BY
    modification_time_m,
    table
ORDER BY
    modification_time_m ASC,
    table DESC

Дополнительные примеры запросов

Дополнительные запросы для мониторинга см. в следующих материалах:

• Полезные запросы для устранения неполадок
• Мониторинг и устранение неполадок при выполнении INSERT-запросов
• Мониторинг и устранение неполадок при выполнении SELECT-запросов

Эти запросы также можно использовать, чтобы создать собственную панель мониторинга в консоли ClickHouse Cloud.

​

Встроенная расширенная панель обсервабилити

В ClickHouse есть встроенная расширенная панель обсервабилити, доступная по адресу $HOST:$PORT/dashboard (требуются имя пользователя и пароль), которая показывает метрики Cloud Overview из system.dashboards.

Для этой панели мониторинга требуется прямая аутентификация в экземпляре ClickHouse; она не связана с консолью ClickHouse Cloud Advanced Dashboard, которая доступна через интерфейс консоли ClickHouse Cloud без дополнительной аутентификации.

Дополнительные сведения о доступных визуализациях и их использовании для устранения неполадок см. в документации по Advanced Dashboard.

​

Выполнение запросов на разных узлах и в разных версиях

Чтобы получить полное представление обо всём кластере, пользователи могут использовать функцию clusterAllReplicas в сочетании с функцией merge. Функция clusterAllReplicas позволяет выполнять запросы к системным таблицам на всех репликах в кластере “default”, объединяя данные отдельных узлов в единый результат. В сочетании с функцией merge это позволяет обращаться ко всем системным данным для конкретной таблицы в кластере.

Например, чтобы найти 5 самых длительных запросов среди всех реплик за последний час:

SELECT
    type,
    event_time,
    query_duration_ms,
    query,
    read_rows,
    tables
FROM clusterAllReplicas(default, system.query_log)
WHERE event_time >= (now() - toIntervalMinute(60)) AND type = 'QueryFinish'
ORDER BY query_duration_ms DESC
LIMIT 5
FORMAT VERTICAL

Этот подход особенно полезен для мониторинга и отладки операций в масштабе всего кластера, помогая пользователям эффективно анализировать состояние и производительность своего развертывания ClickHouse Cloud.

Подробнее см. в разделе выполнение запросов на всех узлах.

​

Что следует учитывать

Прямые запросы к системным таблицам создают дополнительную нагрузку на ваш продуктивный сервис, не позволяют экземплярам ClickHouse Cloud переходить в режим простоя (что может повлиять на расходы) и ставят доступность мониторинга в зависимость от состояния продуктивной системы. Если продуктивная система выйдет из строя, мониторинг также может быть затронут.

Для мониторинга продуктивной среды в реальном времени с операционным разделением рассмотрите Prometheus-совместимую конечную точку метрик или панели мониторинга консоли ClickHouse Cloud: оба варианта используют уже собранные метрики и не выполняют запросы к базовому сервису.

​

Связанные страницы

• Справочник по системным таблицам — Полный справочник по всем доступным системным таблицам
• Мониторинг в консоли ClickHouse Cloud — Панели мониторинга, не требующие настройки и не влияющие на производительность сервиса
• Конечная точка Prometheus — Экспорт метрик во внешние инструменты мониторинга
• Advanced dashboard — Подробное описание визуализаций панели мониторинга