Apache Doris

Doris는 데이터를 행 단위가 아닌 배치 단위로 처리하는 벡터화 쿼리 실행 엔진을 활용합니다. SIMD(Single Instruction, Multiple Data) CPU 명령어를 활용하여 명령어 오버헤드를 크게 줄이고 캐시 지역성을 향상시킵니다. 이러한 아키텍처 선택을 통해 기존 행 기반 엔진 대비 분석 쿼리 처리 성능을 5~10배 향상시키며, 최소한의 CPU 사이클로 대규모 데이터셋의 복잡한 집계를 효과적으로 처리합니다.

이 시스템은 Stream Load, Broker Load, Routine Load 등 다양한 프로토콜을 통해 고처리량 실시간 데이터 수집을 지원합니다. Apache Kafka 및 Flink와 기본적으로 통합되어 중간 배치 처리 계층이 필요 없습니다. 이를 통해 사용자는 데이터 도착 후 수 초 내에 쿼리할 수 있으며, 기존 ETL 파이프라인의 지연 시간 오버헤드 없이 분석 대시보드와 AI 모델에 항상 최신 데이터 상태를 제공합니다.

Apache Doris의 CBO는 복잡한 다중 테이블 조인과 중첩 서브쿼리를 처리하도록 설계되었습니다. 데이터 분포, 카디널리티 및 통계를 분석하여 가장 효율적인 실행 계획을 자동으로 선택합니다. 조인 순서와 물리적 연산자를 최적화함으로써 네트워크 전반의 데이터 셔플링을 최소화하며, 이는 네트워크 I/O가 주요 병목 현상인 분산 MPP 환경에서 성능을 유지하는 데 필수적입니다.

Doris는 고동시성 시나리오에 최적화되어 포인트 쿼리에 대해 초당 수천 건의 QPS를 지원합니다. 특정 열에 대해 행 저장 형식을 사용하고 전용 캐시 계층을 활용하여 빈번한 조회를 즉시 처리합니다. 이는 대규모 스캔에 집중하는 기존 OLAP 시스템과 트랜잭션 무결성에 집중하는 OLTP 시스템 사이의 간극을 메우며, 낮은 지연 시간이 요구되는 사용자 대면 애플리케이션에 적합합니다.

대규모 배포를 지원하기 위해 Doris는 워크로드 그룹을 통한 강력한 리소스 격리를 제공합니다. 관리자는 사용자나 쿼리 유형별로 CPU 및 메모리 제한을 정의하여, 단일 무거운 분석 쿼리가 다른 사용자의 성능을 저하시키는 '노이지 네이버(noisy neighbor)' 문제를 방지할 수 있습니다. 이러한 세밀한 제어는 단일 공유 클러스터에서 여러 내부 팀을 관리하는 SaaS 제공업체나 대기업에 필수적입니다.