통계 분석을 데이터베이스 밖으로 빼내지 마세요: SQL 안에서 끝내는 시대

통계 분석, 이제 SQL 안에서 끝낼 수 있어요

데이터 분석할 때 흐름이 보통 이렇잖아요. SQL로 데이터를 뽑아서, 파이썬이나 R로 옮긴 다음, pandas나 scipy 같은 라이브러리로 통계를 돌리는 거죠. 그런데 이 데이터를 밖으로 빼내는 단계 자체를 없애버리자는 흐름이 있어요. 통계 계산을 아예 SQL 안에서, 데이터가 있는 그 자리에서 끝내자는 거예요. Stats Duck이라는 도구가 그 대표적인 시도예요.

왜 데이터를 안 빼내는 게 중요할까

이게 뭐가 좋냐면요. 데이터가 수억 건이라고 생각해봐요. 이걸 통째로 파이썬 메모리로 끌어오면 노트북이 멈추거나, 끌어오는 데만 한참 걸리죠. 게다가 데이터를 복사해서 밖으로 빼는 순간 보안 문제도 생기고, 원본과 분석본이 따로 놀면서 어, 숫자가 왜 다르지? 하는 일도 벌어져요.

반대로 통계 함수를 데이터베이스 안에 두면, 무거운 데이터는 그대로 두고 계산 결과(평균, 분산, 상관계수, 검정 결과 같은 작은 숫자)만 받아오면 돼요. 데이터를 사람한테 옮기는 게 아니라, 계산을 데이터한테 보내는 발상의 전환이죠.

DuckDB라는 기반

Stats Duck은 이름에서 짐작되듯 DuckDB를 기반으로 해요. DuckDB가 뭐냐면, SQLite의 분석용 버전이라고 생각하면 쉬워요. 별도 서버를 띄울 필요 없이 라이브러리처럼 프로그램에 박아 넣어 쓰는데, 대신 분석 쿼리(수백만 행을 한 번에 집계하는 류)에 엄청나게 빨라요. 컬럼 단위로 데이터를 저장하고 벡터화 연산을 하기 때문인데, 덕분에 노트북 한 대에서도 큰 데이터를 빠릿하게 다룰 수 있어요.

여기에 통계 기능을 얹으면, 평균이나 합계 같은 기본 집계를 넘어서 분포를 다루거나 가설 검정 같은 본격적인 통계 작업까지 SQL 쿼리 한 방으로 처리할 수 있게 되는 거예요. 분석가 입장에서는 익숙한 SQL 문법 그대로, 새 언어를 배울 필요 없이 통계를 돌릴 수 있다는 게 큰 장점이죠.

업계 맥락

사실 DB 안에서 분석을 끝내자는 흐름은 점점 커지고 있어요. 이걸 보통 in-database analytics라고 부르는데요. 예전엔 데이터를 BI 도구나 파이썬으로 옮겨서 분석하는 게 당연했지만, 데이터 규모가 커지면서 옮기는 비용이 너무 커진 거예요. 그래서 dbt로 변환 로직을 SQL에 담고, DuckDB로 로컬에서 분석하고, 통계까지 SQL로 처리하는 식으로 데이터를 움직이지 않는 방향으로 가고 있어요.

pandas와 Jupyter 조합과 비교하면, 재현성과 협업 면에서 SQL이 유리한 부분도 있어요. 노트북은 셀 실행 순서가 꼬이면 결과가 달라지기 쉬운데, SQL 쿼리는 그 자체로 무엇을 계산했는지 명확하게 남거든요.

한국 개발자에게

데이터 분석을 곁들여 하는 백엔드 개발자나, SQL은 익숙한데 파이썬 통계 스택은 부담스러운 분들에게 특히 매력적이에요. 가벼운 분석이라면 파이썬 환경을 따로 세팅할 필요 없이 SQL만으로 끝낼 수 있으니까요. 사내 데이터 대시보드 뒷단에서 간단한 통계 지표를 뽑아야 할 때도 잘 맞고요.

물론 본격적인 머신러닝이나 복잡한 통계 모델링까지 SQL로 다 하려는 건 무리예요. 적재적소가 중요하죠. 하지만 이 정도 분석은 굳이 데이터를 빼낼 필요 없었네 하는 순간이 생각보다 많다는 걸 알게 될 거예요.

정리하면, 데이터를 분석 도구로 옮기는 대신 분석을 데이터 쪽으로 보내는 게 요즘 흐름이에요. 여러분은 SQL과 파이썬, 통계 작업을 어디까지 SQL로 밀어붙여 보셨나요?