Mise à l'échelle du volume de données

Ce document couvre les scénarios de mise à l'échelle du volume de données, où la taille totale de l'ensemble de données dépasse la capacité d'un seul nœud.

Mise à l'échelle des locataires

Si le cas d'usage est multi-locataire, c'est-à-dire que chaque utilisateur n'a accès qu'à un sous-ensemble des données, et que nous n'avons jamais besoin d'interroger l'ensemble des données, nous pouvons utiliser des modèles multi-locataires pour la mise à l'échelle.

La méthode recommandée est d'utiliser des charges de travail multi-locataires avec partitionnement de charge utile, des index par locataire et une multilocationalité en couches.

En savoir plus Tenant Scaling

Fenêtre temporelle glissante

Certains cas d'usage sont basés sur une fenêtre temporelle glissante, où seules les données les plus récentes sont pertinentes. Par exemple, un index pour les messages des réseaux sociaux, où seules les 6 derniers mois de données nécessitent une recherche rapide.

En savoir plus Sliding Time Window

Recherche mondiale

La plupart des cas d'usage généraux nécessitent une recherche mondiale sur l'ensemble des données. Dans ces situations, nous pourrions avoir besoin de revenir à la mise à l'échelle verticale, puis à la mise à l'échelle horizontale lorsque nous atteignons les limites de la mise à l'échelle verticale.

Mise à l'échelle verticale

Lorsque les données ne rentrent pas dans un seul nœud, la première approche est de mettre à l'échelle le nœud lui-même — plus de RAM, meilleur disque, quantization, mmap. Épuisez les options verticales avant d'aller horizontal, car la mise à l'échelle horizontale ajoute une complexité opérationnelle permanente.

En savoir plus Vertical Scaling

Mise à l'échelle horizontale

Lorsqu'un seul nœud ne peut pas contenir les données même avec quantization et mmap, distribuez les données sur plusieurs nœuds via sharding.

En savoir plus Horizontal Scaling