수학과 코드 벤치마크만 보면 최근 언어 모델은 파라미터당 지능이 비상식적인 속도로 오르고 있다. GLM-5.2는 토큰당 약 400억 개의 활성 파라미터로 AIME 2026에서 99.2%를 기록했고, Qwen3.5는 170억 활성으로 91.3%, DeepSeek V4-Flash는 130억 활성으로 추론을 돌린다. 2023년 GPT-4가 약 2,800억 활성 파라미터를 쓰고도 AIME 문제 하나를 겨우 풀었다는 소문과 비교하면 격차가 뚜렷하다. Qwen3.5 9B는 양자화하면 6GB VRAM에 들어가면서도, 100억 파라미터 미만 구간의 차상위 모델 대비 지능 지수 점수를 대략 두 배로 끌어올린다.
그러나 같은 모델에게 평범한 사실을 물으면 그림이 뒤집힌다. 도구 사용을 금지한 채 사실 회상만 측정하는 SimpleQA에서 현재 1위인 Gemini 2.5 Pro의 점수는 53%에 불과하다. 돈으로 살 수 있는 최고의 회상 능력조차 절반을 틀린다는 뜻이다. 작은 모델은 더 심하다. Artificial Analysis 측정에서 Qwen3.5 4B와 9B의 환각률은 80~82%에 이른다. 모르는 사실을 만났을 때, 즉 대부분의 경우, 그럴듯하고 자신만만한 오답을 지어낸다는 의미다. 파라미터를 줄인 대가가 여기서 나온다.
사실은 무겁고 절차는 가볍다
이 거래가 성립하는 이유는 저장 비용의 비대칭에 있다. 'Physics of Language Models' 연구 계열은 파라미터당 약 2비트의 사실 지식이 담긴다고 측정했다. 사소한 위키피디아 인물의 출생연도, 네덜란드 모든 지자체의 인구, 모든 npm 함수의 인자 순서까지 외우게 하려면 그만큼의 가중치를 지불해야 하고, 이것이 프런티어 모델이 조 단위 파라미터로 불어난 큰 이유였다.
반면 추론은 훨씬 잘 압축된다. 문제를 쪼개고, 중간 상태를 추적하고, 자기 답을 검증하고, 막히면 되돌아가는 비교적 작은 절차 집합을 반복 적용하기 때문이다. 검증 가능한 과제에 대한 증류와 강화학습은 이 절차를 작은 모델에 놀랍도록 잘 이식한다. 합성 교과서 데이터로 집중 훈련한 14B 모델 Phi-4가 수학은 잘하고 잡학은 약한 것이 그 증거다. 예전에는 합성 데이터 방식의 한계로 보였던 이 조합이, 지금은 의도된 설계 목표로 읽힌다.
지식은 썩고 절차는 썩지 않는다
프런티어 학습 한 번에는 수개월과 수억 달러가 든다. 그리고 학습이 끝나는 순간부터 그 안의 사실은 상하기 시작한다. 라이브러리 API가 바뀌고, 가격이 바뀌고, 사람들이 이직한다. 2024년 모델이 자바스크립트 생태계에 대해 믿던 것의 절반은 출시 전에 이미 낡은 정보였다. 가중치에 새겨 넣은 모든 사실에는 유통기한이 있고, 갱신하는 유일한 방법은 또 한 번의 학습이다.
절차는 그렇지 않다. 대수학은 1970년이나 지금이나 같은 방식으로 작동하고, 문제를 분해하거나 두 출처의 모순을 잡아내는 일도 마찬가지다. 절차 중심으로 채우고 사실은 가볍게 실은 모델은 지식 중심 모델처럼 노화하지 않는다. 학습 컷오프의 의미가 크게 줄어드는데, 애초에 세상의 현재 상태가 가중치 안에 살 이유가 없기 때문이다. 이것이 이 접근의 가장 강한 논거다. 비싸고 느린 산물인 학습된 모델을, 매일 바뀌는 진실과 분리해 내는 것이다.
모르는 것은 밖에서 가져온다
모델이 모른다면 다른 무언가가 알아야 하고, 그 무언가가 바로 하네스(harness)다. 지식 베이스에 대한 검색, 도구 호출, 웹 검색, 문서로 채운 파일 시스템이 그 역할을 한다. 코딩 에이전트는 이미 이렇게 일한다. 의존성의 API 표면을 외우는 대신 node_modules를 grep하거나 문서를 읽고 호출하며, 그 답은 학습 데이터에서 우세했던 버전이 아니라 실제로 설치된 버전에 근거한다. 매 순전파마다 고정비였던 회상이 필요할 때만 조회하는 온디맨드 작업으로 바뀐 것이다.
실무적으로 가장 흥미로운 지점은 환각 처리 방식이다. 사실이 가중치 안에 살면 틀린 사실은 찾을 수도 고칠 수도 없다. 가중치를 grep할 수 없고 지난달과 diff할 수도 없으며, 오류 하나를 고치려면 무엇이 깨질지 모를 파인튜닝을 감수해야 한다. 반면 사실이 모델 밖에 있으면 틀린 답에 주소가 생긴다. 모델이 문서를 인용하면 그 문서를 열어 확인하고, 틀렸다면 문서를 고치면 이후의 모든 질의가 교정된다. 지식 베이스의 잘못된 사실은 우리가 이미 추적하고 고치고 회귀 테스트를 짤 줄 아는 평범한 데이터 버그가 된다.
다만 한계는 분명하다. 이런 모델은 도구 없이 맨 사실을 물으면 대부분 제대로 답하지 못하며, 올바른 동작은 '모른다'고 인정하고 찾아보는 것이다. DeepSeek V4-Flash처럼 활성 파라미터는 130억이지만 전문가 층에 271억 개가 사실 저장용으로 얹혀 있는 구조에서, 지식을 걷어내면 총 크기가 활성 크기 쪽으로 줄어 20~40B급 4비트 모델이 2022년부터 게이밍 PC에 꽂혀 있던 24GB 카드에 들어간다. 로컬에서 데이터 유출과 토큰 과금 없이 돌아가는 프런티어급 추론이라는 그림은, 검색 기반 하네스를 얼마나 잘 붙이느냐에 성패가 걸려 있다. 결국 모델 카드에서 지식 컷오프 표기가 사라지고, CPU가 프로그램을 건네받듯 모델이 런타임에 세상의 현재 상태를 건네받는 미래가 이 거래의 종착점이다.