같은 이력서가 90점, 74점, 88점? AI 채용 필터의 민낯

HackerRank가 자사 ATS(지원자 추적 시스템)를 오픈소스로 공개하자, 한 개발자가 직접 자기 이력서를 넣어봤습니다. 결과는 충격적이었죠. 똑같은 이력서인데 돌릴 때마다 90점, 74점, 88점으로 점수가 출렁였습니다. 채점 기준이 바뀐 게 아니라, LLM 기반 채점이 본질적으로 '비결정적'이기 때문입니다. 같은 입력에도 매번 다른 출력을 내놓는 모델의 특성이, 사람의 커리어를 좌우하는 합격·불합격 판단에 그대로 쓰이고 있다는 의미입니다. 핵심 인사이트는 세 가지입니다. 첫째, 많은 기업의 AI 이력서 필터는 우리 생각만큼 객관적이거나 일관되지 않습니다. 둘째, 점수 몇 점 차이로 떨어졌다면 실력 문제가 아니라 운이었을 수 있습니다. 셋째, 시스템이 이렇게 흔들린다면 키워드 매칭에만 의존하는 채점 로직 역시 쉽게 흔들릴 수 있다는 뜻이죠. 구직자라면 한 번의 탈락에 좌절하기보다 여러 번 도전하고, 채용 담당자라면 AI 점수를 '참고'로만 다뤄야 한다는 교훈을 줍니다.