자전거 타는 펠리컨 한 마리가 LLM 평가의 민낯을 보여줍니다

자전거 타는 펠리컨, 그게 뭔데요

AI 업계에서 요즘 가장 유명한 새를 하나 꼽으라면 아마 '자전거 타는 펠리컨'일 거예요. 테슬라의 AI 디렉터를 지냈고 OpenAI 창립 멤버이기도 한 안드레이 카파시(Andrej Karpathy)가 최근 이 펠리컨 이야기를 꺼내면서, 'LLM 성능을 도대체 어떻게 평가해야 하나'라는 해묵은 질문이 다시 수면 위로 올라왔는데요. 언뜻 보면 장난 같은 이 테스트가 왜 의외로 진지한 주제인지 차근차근 풀어볼게요.

발단은 영국의 개발자 사이먼 윌리슨(Simon Willison)이에요. 이분은 새로운 LLM이 나올 때마다 똑같은 프롬프트를 하나 던지는 걸로 유명한데요. 바로 '자전거를 타는 펠리컨의 SVG를 그려줘'입니다. 여기서 SVG가 뭐냐면, 이미지를 픽셀 데이터가 아니라 XML 코드로 표현하는 벡터 그래픽 형식이에요. 그러니까 모델 입장에서는 그림을 '그리는' 게 아니라, 그림이 되는 '코드를 작성'해야 하는 거죠.

왜 이 엉뚱한 테스트가 잘 통할까요

이 테스트가 절묘한 이유가 몇 가지 있어요. 첫째, 펠리컨은 자전거를 못 타요. 다리가 짧고 날개로는 핸들을 잡기 애매하거든요. 그래서 인터넷에 이런 이미지가 거의 없고, 모델이 학습 데이터에서 본 걸 그대로 뱉을 수가 없어요. 펠리컨의 신체 구조와 자전거의 구조를 각각 이해한 다음, 그 둘을 그럴듯하게 조합하는 '추론'을 해야 하죠. 둘째, SVG는 좌표를 직접 계산해서 도형을 배치해야 하니까, 모델이 머릿속에 공간을 얼마나 잘 그리는지가 결과물에 고스란히 드러나요. 언어 이해, 공간 추론, 코드 생성 능력이 한 방에 시험대에 오르는 셈이에요.

실제로 모델 세대가 올라갈수록 펠리컨 그림이 눈에 띄게 좋아져 왔어요. 초기 모델들은 타원 몇 개를 대충 겹쳐 놓은 수준이었다면, 요즘 모델들은 부리의 주머니 모양이나 바퀴살, 페달 위치까지 챙기거든요. 숫자로 가득한 벤치마크 점수표보다 그림 한 장이 모델의 발전을 훨씬 직관적으로 보여주는 거죠.

유명해진 벤치마크의 역설

그런데 여기에 함정이 있어요. 이 테스트가 너무 유명해져 버린 거예요. 이제 '자전거 타는 펠리컨'은 인터넷 곳곳에 널려 있고, 모델을 만드는 회사들도 자기들이 이 테스트로 평가받는다는 걸 알아요. 그러면 어떻게 될까요? 의도했든 아니든 학습 데이터에 관련 예시가 흘러들어가고, 심하면 이 테스트를 잘 통과하도록 튜닝할 수도 있겠죠. 경제학에서 말하는 '굿하트의 법칙', 그러니까 '지표가 목표가 되는 순간 더 이상 좋은 지표가 아니게 된다'는 상황이 그대로 벌어지는 거예요. 카파시 같은 업계 유명 인사가 펠리컨을 언급하는 것 자체가, 역설적으로 이 벤치마크의 수명을 갉아먹는 셈이기도 하고요.

지금 업계는 '평가의 위기'를 겪고 있어요

사실 이건 펠리컨만의 문제가 아니에요. MMLU나 HumanEval 같은 표준 벤치마크들은 이미 상위 모델들이 만점에 가까운 점수를 찍으면서 변별력을 잃었고, 시험 문제가 학습 데이터에 섞여 들어가는 오염 논란도 끊이지 않거든요. 그 대안으로 사람들이 두 모델의 답변을 직접 비교 투표하는 LMArena 같은 방식이 떠올랐지만, 이것도 내용보다 '보기 좋은 답변'에 점수를 주는 편향이 있다는 지적을 받아요. 그러다 보니 요즘 진지한 팀들은 외부에 공개하지 않는 '프라이빗 평가 세트'를 따로 만들어 모델을 검증해요. 공개된 순간 오염되니까 아예 비공개로 유지하는 전략이죠.

한국 개발자에게: 나만의 펠리컨을 만드세요

여기서 우리가 가져갈 실용적인 교훈은 명확해요. 리더보드 순위만 보고 모델을 고르지 말라는 거예요. 실무에서 LLM을 쓸 계획이라면, 여러분의 실제 업무에서 뽑은 태스크 10~20개로 자기만의 평가 세트를 만들어 두세요. 사내 문서 요약, 한국어 고객 문의 분류, 레거시 코드 리팩터링 같은 것들이요. 새 모델이 나올 때마다 이 세트를 돌려보면 어떤 공개 벤치마크보다 정확하게 '우리 일에 맞는 모델'을 찾을 수 있거든요. 특히 한국어 성능은 영어 중심 벤치마크에 잘 안 잡히니까, 이런 자체 평가가 더더욱 중요해요.

정리하면, 자전거 타는 펠리컨은 웃자고 만든 테스트가 아니라 '살아 있는 평가란 무엇인가'에 대한 이야기예요. 여러분은 새 모델이 나오면 제일 먼저 뭘 시켜보세요? 여러분만의 '펠리컨 테스트'를 댓글로 공유해 주세요.