Insertions groupées

Envoyer moins d’insertions, mais avec davantage de données dans chacune, réduit le nombre d’écritures nécessaires.

Les mécanismes décrits ci-dessus montrent qu’il existe un surcoût constant, quelle que soit la taille de l’insertion, ce qui fait de la taille des lots le facteur d’optimisation le plus important pour le débit d’ingestion. Le regroupement des insertions par lots réduit ce surcoût par rapport au temps total d’insertion et améliore l’efficacité du traitement.

Nous recommandons d’insérer les données par lots d’au moins 1 000 lignes, et idéalement entre 10 000 et 100 000 lignes. Des insertions moins fréquentes et plus volumineuses réduisent le nombre de parts écrites, minimisent la charge de fusion et diminuent l’utilisation globale des ressources système.

Pour qu’une stratégie d’insertion synchrone soit efficace, ce regroupement côté client est indispensable.

Si vous ne pouvez pas regrouper les données par lots côté client, ClickHouse prend en charge les insertions asynchrones, qui déplacent ce regroupement vers le serveur (voir Insertions asynchrones).

Quelle que soit la taille de vos insertions, nous vous recommandons de maintenir le nombre de requêtes d’insertion autour d’une par seconde. Cette recommandation s’explique par le fait que les parts créées sont fusionnées en arrière-plan en parts plus volumineuses (afin d’optimiser vos données pour les requêtes de lecture), et qu’un trop grand nombre de requêtes d’insertion par seconde peut conduire à des situations où les fusions en arrière-plan ne parviennent plus à suivre le rythme de création des nouvelles parts. Toutefois, vous pouvez utiliser un taux plus élevé de requêtes d’insertion par seconde avec les insertions asynchrones (voir Insertions asynchrones).