DuckDB는 왜 이렇게 빠를까? 내부 구조 파헤치기

분석 쿼리 한 줄로 수억 행을 순식간에 처리하는 DuckDB. 그 비결은 세 가지 설계에 있다. 첫째, 컬럼 기반 저장이다. 행이 아닌 열 단위로 데이터를 모아두니 필요한 컬럼만 읽고 압축 효율도 높아 디스크·메모리 대역폭을 아낀다. 둘째, 벡터화 실행(vectorized execution)이다. 한 번에 한 행씩 처리하는 전통 방식 대신 약 2048개 단위의 '벡터'를 묶어 처리해, 함수 호출 오버헤드를 줄이고 CPU 캐시와 SIMD를 최대한 활용한다. 행 단위도 아니고 컬럼 전체도 아닌 중간 크기 묶음이 캐시에 딱 맞는다는 점이 핵심이다. 셋째, 모젤(morsel) 기반 병렬화로 작업을 잘게 쪼개 여러 코어에 고르게 분배한다. 여기에 별도 서버 없이 프로세스 내에서 도는 임베디드 구조가 더해져, 네트워크 왕복 없는 분석 환경을 만든다. 한국 개발자에게 DuckDB는 'Pandas보다 빠르고 OLAP DB보다 가벼운' 로컬 분석 도구로 주목할 만하다.