Armazenamento de dados

Crie arquiteturas modernas de armazenamento de dados combinando a flexibilidade dos lagos de dados com o desempenho do ClickHouse Cloud

O data warehouse moderno não mantém mais armazenamento e computação rigidamente acoplados. Em vez disso, camadas distintas, mas interconectadas, de armazenamento, governança e processamento de consultas dão a você a flexibilidade de escolher as ferramentas certas para seus fluxos de trabalho.

Ao adicionar formatos de tabela abertos e um engine de consulta de alto desempenho, como o ClickHouse, ao armazenamento de objetos em nuvem, você obtém recursos de nível de banco de dados — transações ACID, aplicação de esquema e consultas analíticas rápidas — sem abrir mão da abertura do seu lago de dados. Essa combinação une desempenho a um armazenamento interoperável e econômico para dar suporte às suas análises tradicionais e às cargas de trabalho modernas de IA/ML.

​

O que esta arquitetura oferece

Ao combinar armazenamento de objetos aberto e formatos de tabela com o ClickHouse como engine de consulta, você obtém:

Benefício	Descrição
Atualizações consistentes de tabela	Commits atômicos no estado da tabela significam que gravações concorrentes não geram dados corrompidos ou parciais. Isso resolve um dos maiores problemas dos lagos de dados brutos.
Gerenciamento de esquema	A validação aplicada e a evolução do esquema acompanhada evitam o problema do “pântano de dados”, em que os dados se tornam inutilizáveis devido a inconsistências de esquema.
Desempenho de consulta	Indexação, estatísticas e otimizações de layout de dados, como data skipping e clustering, permitem que consultas SQL sejam executadas em velocidades comparáveis às de um data warehouse dedicado. Combinado com o engine colunar do ClickHouse, isso continua valendo mesmo para dados armazenados em armazenamento de objetos.
Governança	Catálogos e formatos de tabela fornecem controle de acesso refinado e auditoria nos níveis de linha e coluna, resolvendo as limitações dos controles de segurança em lagos de dados básicos.
Separação entre armazenamento e computação	Armazenamento e computação escalam de forma independente sobre armazenamento de objetos comum, que é significativamente mais barato do que o armazenamento proprietário de warehouses. Embora essa separação seja padrão nos warehouses em nuvem modernos, os formatos abertos permitem que você escolha qual engine de computação escalará com seus dados.

​

Como o ClickHouse potencializa seu data warehouse

Os dados fluem de plataformas de streaming e data warehouses existentes, passando pelo armazenamento de objetos até o ClickHouse, onde são transformados, otimizados e disponibilizados para suas ferramentas de BI/AI.

​

Arquitetura híbrida: O melhor dos dois mundos

Além de consultar seu lago de dados, você pode fazer a ingestão de dados críticos para o desempenho no armazenamento nativo MergeTree do ClickHouse para casos de uso que exigem latência ultrabaixa — dashboards em tempo real, análises operacionais ou aplicações interativas.

Isso permite adotar uma estratégia de dados em camadas. Os dados mais acessados ficam no armazenamento otimizado do ClickHouse para respostas de consulta em menos de um segundo, enquanto o histórico completo dos dados permanece no lago e continua disponível para consulta. Você também pode usar visões materializadas do ClickHouse para transformar e agregar continuamente os dados do lago em tabelas otimizadas, fazendo a ponte entre as duas camadas automaticamente.

Você escolhe onde os dados ficam armazenados com base nos requisitos de desempenho, e não em limitações técnicas.

ClickHouse Academy

Faça o curso gratuito Data Warehousing with ClickHouse para saber mais.