블루스크린이 나도 재부팅 한 번이면 끝, WinPE로 만드는 윈도우 드라이버 테스트 환경

커널 코드 테스트는 왜 이렇게 고통스러울까요

윈도우 드라이버 개발에는 다른 개발에 없는 특별한 고통이 있어요. 드라이버는 커널, 그러니까 운영체제의 심장부에서 도는 코드거든요. 일반 앱은 버그가 나면 그 앱만 죽지만, 드라이버는 버그가 나면 시스템 전체가 블루스크린(BSOD)과 함께 내려앉아요. 테스트 한 번 잘못 돌리면 파일 시스템이 깨지거나 OS가 부팅 불능이 되기도 하고요. 그래서 드라이버 테스트, 특히 일부러 크래시를 유도하는 퍼징에서는 '망가진 환경을 어떻게 빠르게 원상복구하느냐'가 테스트 자체만큼 중요한 문제예요.

최근 한 보안 연구자가 이 문제에 대한 우아한 답을 블로그로 공유했어요. 바로 WinPE를 상태 없는(stateless) 테스트 하네스로 쓰는 방법이에요.

WinPE가 뭐냐면요

WinPE(Windows Preinstallation Environment)는 사실 우리가 다 한 번쯤 본 적 있는 물건이에요. 윈도우를 새로 설치할 때 USB로 부팅하면 뜨는 그 파란 미니 윈도우, 그게 WinPE거든요. 원래는 OS 설치나 복구용으로 만들어진 초경량 윈도우인데, 결정적인 특징이 하나 있어요. 디스크가 아니라 램(RAM) 위에 통째로 올라가서 동작한다는 거예요.

이게 왜 대단하냐면, 램 위에서 도는 시스템은 뭘 해도 디스크에 흔적이 남지 않아요. 드라이버를 로드하다 블루스크린이 떠도, 시스템 파일이 오염돼도, 재부팅 한 번이면 부팅 이미지 그대로의 깨끗한 상태로 돌아와요. '상태 없는(stateless)' 환경이라는 게 바로 이 뜻이에요. 매번 공장 초기화된 시스템에서 테스트를 시작하는 것과 같은 거죠.

퍼징과 만나면 진가가 나와요

퍼징(fuzzing)이 뭐냐면, 프로그램에 무작위이거나 살짝 변형된 입력을 수만, 수십만 번 퍼부어서 개발자가 예상 못 한 크래시를 찾아내는 자동화 테스트 기법이에요. 취약점 연구의 기본기이자, 드라이버처럼 입력 검증이 생명인 코드의 품질을 검증하는 표준적인 방법이죠. 그런데 커널 퍼징은 태생적으로 크래시가 일상이라, 크래시 한 번마다 환경 복구에 몇 분씩 걸리면 퍼징 전체의 효율이 무너져요.

기존의 정석은 가상머신 스냅샷이었어요. VM을 깨끗한 상태로 스냅샷 찍어두고 크래시마다 되돌리는 방식이요. 하지만 이 방식엔 맹점이 있어요. 드라이버는 실제 하드웨어와 대화하는 코드라, 가상화된 가짜 하드웨어 위에서는 아예 테스트가 안 되거나 실기기와 다르게 동작하는 경우가 있거든요. WinPE 방식은 진짜 하드웨어 위에서 돌면서도 재부팅만으로 초기화되는 환경을 만들어줘요. 게다가 PXE라는 네트워크 부팅 기술과 조합하면 디스크 없는 머신 여러 대에 같은 이미지를 뿌려서 퍼징 팜을 꾸릴 수도 있어요. 테스트 대상 드라이버와 퍼저만 이미지에 넣어두면, 머신들이 크래시가 나든 말든 알아서 재부팅하며 계속 돌아가는 구조가 되는 거죠.

업계 맥락에서 보면

커널 퍼징 자체는 활발한 분야예요. 리눅스 쪽에는 구글의 syzkaller가 커널 버그를 쏟아내고 있고, 윈도우 쪽에도 인텔 PT 기반의 kAFL 같은 도구가 있어요. 다만 이런 도구들은 대부분 가상화나 하이퍼바이저에 기대는데, 이 글의 접근은 특별한 인프라 없이 윈도우에 기본 포함된 도구만으로 실기기 테스트 환경을 만든다는 점에서 실용적이에요. 그리고 2024년 CrowdStrike 사태(커널 드라이버 업데이트 하나가 전 세계 수백만 대의 윈도우를 마비시킨 사건)를 겪은 뒤로, 드라이버를 출시 전에 얼마나 험하게 테스트하느냐가 업계 전체의 화두가 됐다는 배경도 있고요.

한국 개발자에게 주는 시사점

드라이버나 보안 연구를 하는 분이라면 당장 참고할 만한 실전 기법이에요. 국내에도 보안 솔루션, 백신, DRM처럼 커널 드라이버를 만드는 회사가 많은데, 이런 곳의 QA 파이프라인에 바로 응용할 수 있는 아이디어거든요. 그리고 커널과 무관한 분에게도 배울 지점이 있어요. '환경을 수리하지 말고, 매번 새로 만들어라'라는 발상은 도커 컨테이너나 불변 인프라(immutable infrastructure)와 정확히 같은 철학이에요. 그 사고방식을 베어메탈 윈도우라는 극한 환경에 적용하면 어떤 모습이 되는지 보여주는 좋은 사례인 거죠.

마무리

한 줄 정리: WinPE의 '램에서 돌고 재부팅하면 리셋'이라는 성질을 활용하면, 실제 하드웨어에서 도는 일회용 드라이버 테스트 환경을 공짜로 얻을 수 있어요.

여러분의 테스트 환경은 '고쳐 쓰는' 쪽인가요, '새로 만드는' 쪽인가요? 환경 오염 때문에 고생했던 경험이 있다면 나눠주세요.