Apache Doris

Doris utilise un moteur d'exécution de requêtes vectorisé qui traite les données par lots plutôt que ligne par ligne. En exploitant les instructions CPU SIMD (Single Instruction, Multiple Data), il réduit considérablement la surcharge d'instructions et améliore la localité du cache. Ce choix architectural permet à Doris d'atteindre des gains de performance de 5x à 10x dans le traitement des requêtes analytiques par rapport aux moteurs traditionnels basés sur les lignes, gérant efficacement les agrégations complexes sur de grands volumes de données avec un minimum de cycles CPU.

Le système prend en charge une ingestion de données temps réel à haut débit via plusieurs protocoles, dont Stream Load, Broker Load et Routine Load. En s'intégrant nativement avec Apache Kafka et Flink, Doris élimine le besoin de couches de traitement par lots intermédiaires. Cela permet aux utilisateurs d'interroger les données quelques secondes après leur arrivée, garantissant que les tableaux de bord analytiques et les modèles d'IA sont toujours alimentés par l'état le plus récent des données, sans la latence des pipelines ETL traditionnels.

Le CBO d'Apache Doris est conçu pour gérer des jointures multi-tables complexes et des sous-requêtes imbriquées. Il sélectionne automatiquement le plan d'exécution le plus efficace en analysant la distribution des données, la cardinalité et les statistiques. En optimisant l'ordre des jointures et les opérateurs physiques, le CBO minimise le transfert de données sur le réseau, ce qui est crucial pour maintenir les performances dans les environnements MPP distribués où les E/S réseau sont souvent le goulot d'étranglement principal.

Doris est optimisé pour les scénarios à haute concurrence, prenant en charge des milliers de QPS (requêtes par seconde) pour les requêtes ponctuelles. Il utilise un format de stockage en lignes pour des colonnes spécifiques et emploie une couche de cache dédiée pour servir instantanément les recherches fréquentes. Cela le rend adapté aux applications orientées utilisateur nécessitant des temps de réponse à faible latence, comblant le fossé entre les systèmes OLAP traditionnels axés sur les scans lourds et les systèmes OLTP axés sur l'intégrité transactionnelle.

Pour prendre en charge les déploiements à grande échelle, Doris offre une isolation robuste des ressources via des groupes de charge de travail (Workload Groups). Les administrateurs peuvent définir des limites de CPU et de mémoire pour différents utilisateurs ou types de requêtes, évitant les problèmes de 'voisin bruyant' où une seule requête analytique lourde pourrait dégrader les performances pour les autres utilisateurs. Ce contrôle granulaire est essentiel pour les fournisseurs SaaS ou les grandes entreprises gérant plusieurs équipes internes sur un cluster partagé.