Hacker News 2026.07.30 42

트랜잭션엔 SQLite, 분석엔 DuckDB — 임베디드 DB 제대로 골라 쓰는 법

'가벼운 DB = SQLite'라는 공식, 언제까지 유효할까요

개발하다가 가벼운 데이터베이스가 필요하면 다들 반사적으로 SQLite를 떠올리죠. 서버 설치도 필요 없고, 파일 하나로 끝나고, 거의 모든 언어에서 바로 쓸 수 있으니까요. 스마트폰, 브라우저, 심지어 비행기 안까지 안 들어간 곳이 없을 정도로 세상에서 가장 많이 배포된 데이터베이스이기도 하고요. 그런데 최근 'SQLite 말고 DuckDB를 선택하라'는 도발적인 제목의 글이 개발자들 사이에서 논쟁거리가 됐어요. 결론부터 말하면 이 주장은 반은 맞고 반은 틀린데요. 어떤 상황에서 맞고 어떤 상황에서 틀린지를 이해하면, 두 도구를 제대로 골라 쓸 수 있게 됩니다.

핵심은 데이터를 저장하는 '방향'의 차이예요

두 데이터베이스의 결정적인 차이는 저장 방식이에요. SQLite는 행(row) 기반 저장소인데요. 이게 뭐냐면, 엑셀로 치면 한 줄(한 사람의 이름, 이메일, 가입일 전부)을 통째로 붙여서 저장하는 방식이에요. 그래서 '회원 42번의 정보를 통째로 읽거나 수정'하는 작업이 아주 빨라요. 회원 가입, 주문 처리처럼 건별로 읽고 쓰는 일상적인 애플리케이션 작업, 전문 용어로 OLTP(온라인 트랜잭션 처리)에 딱 맞는 구조죠.

반면 DuckDB는 열(column) 기반이에요. 같은 비유로 하면 '가입일' 열만 세로로 쭉 모아서 저장하는 방식이거든요. 그러면 '전체 회원의 월별 가입 추이' 같은 집계 질의를 할 때 필요한 열만 쏙쏙 읽으면 되니까 압도적으로 빨라져요. 여기에 벡터화 실행이라는 기법이 더해지는데, 데이터를 한 건씩 처리하는 대신 수천 건씩 묶음으로 처리해서 CPU 캐시를 훨씬 효율적으로 쓰는 방식이에요. 이런 분석 중심 작업을 OLAP(온라인 분석 처리)라고 부르고요. 수백만 행짜리 테이블에 GROUP BY를 돌려보면 두 DB의 차이가 몇 배에서 수십 배까지 벌어지는 걸 직접 확인할 수 있습니다.

DuckDB만의 매력 포인트

DuckDB가 분석용으로 사랑받는 이유가 몇 가지 더 있어요. 일단 Parquet나 CSV 파일을 데이터베이스에 적재하지 않고도 바로 SQL로 조회할 수 있어요. SELECT * FROM 'logs.parquet' 이런 식으로요. 데이터를 옮겨 담는 단계 자체가 사라지는 거죠. 메모리보다 큰 데이터도 디스크를 활용해 알아서 처리해주고, pandas나 Polars 데이터프레임과의 연동도 매끄러워요. 파이썬이라면 pip install duckdb 한 줄로 바로 시작할 수 있고요.

그렇다고 SQLite가 밀리는 건 아니에요. 잦은 소규모 쓰기, 트랜잭션 무결성, 수십 년간 검증된 안정성, 극도로 작은 용량 같은 영역에서는 여전히 SQLite가 정답이거든요. 모바일 앱의 로컬 저장소나 서비스의 실제 운영 DB를 DuckDB로 바꾸는 건 오히려 손해예요. 그러니까 정확한 결론은 'SQLite 대신 DuckDB'가 아니라 '트랜잭션엔 SQLite, 분석엔 DuckDB'인 거죠. 실제로 두 프로젝트 개발진도 서로를 경쟁자가 아니라 상호 보완재로 여기는 분위기고요.

업계 흐름에서 보면

DuckDB는 요즘 데이터 엔지니어링 판에서 가장 뜨거운 프로젝트 중 하나예요. 'SQLite의 임베디드 편의성 + 분석 DB의 성능'이라는 포지션 덕분에, 무거운 Spark 클러스터나 클라우드 데이터 웨어하우스 없이 노트북 한 대로 데이터를 처리하는 이른바 '스몰 데이터' 흐름의 상징이 됐거든요. 생각해보면 대부분 회사의 데이터는 사실 한 대의 컴퓨터로 충분히 처리 가능한 크기인데, 그동안 관성적으로 무거운 인프라를 써온 면이 있죠. 비슷한 결로 ClickHouse를 임베디드로 만든 chDB, 데이터프레임 진영의 Polars 같은 대안들도 있고, DuckDB를 클라우드로 확장한 MotherDuck 같은 상용 서비스도 나와 있어요.

한국 개발자에게: 당장 써먹을 곳이 많아요

서버 로그나 CSV 덤프를 분석할 때 pandas로 낑낑대는 대신 DuckDB로 SQL을 돌리면 코드도 짧아지고 속도도 빨라져요. 관리자 대시보드의 통계 쿼리가 운영 DB를 무겁게 만들고 있다면, 데이터를 주기적으로 내려받아 DuckDB로 집계하는 구조도 고려해볼 만하고요. 이미 SQL을 안다면 새로 배울 게 거의 없다는 점이 최고의 장점입니다. 오늘 점심시간에 30분만 투자해서 갖고 있는 CSV 파일 하나 열어보는 것부터 시작해보세요.