코딩처럼 어려운 작업에서는 여전히 가장 비싸고 강력한 모델에 손이 가기 마련이다. 그래서 정작 놓치기 쉬운 것이 작고 빠른 모델들의 진전이다. Segment 공동창업자 캘빈 프렌치오언은 최근 글에서 이 흐름을 정면으로 다룬다. 그는 몇 주간 gpt-5.6-luna를 써 보며 이 부류의 모델이 이미 실용 수준에 도달했다고 진단한다. 초당 약 100토큰의 속도로 코드베이스와 이메일, 지식 베이스를 훑고, 수천 통의 이메일을 가로질러 검색해도 API 비용이 수십 센트에 그친다는 것이다. 여기에 GLM 5.3 같은 선택지가 더해지면서, 성능과 비용의 파레토 경계 자체가 다시 그려지고 있다는 게 그의 관찰이다.
비용이 곧 제품 전략이다
핵심은 성능이 아니라 비용이다. 그는 투자자들에게서 "왜 소비자용 AI 기업이 더 많이 나오지 않느냐"는 질문을 자주 듣는다고 전한다. 그의 답은 단순하다. 토큰 비용 때문이다. AI 이전 시대의 대형 소비자 앱은 요청 한 건당 한계비용이 사실상 0에 가까웠고, 구글·페이스북·스냅챗 같은 회사들이 그 위에서 성장했다. 그러나 제품에 AI를 붙이는 순간 모든 요청마다 실제 추론 비용이 발생한다. 필요한 자본의 규모가 갑자기 커지고, 무료에 가깝던 단위경제가 무너진다.
그가 드는 예시가 구체적이다. 자신을 위해 매일 개인화된 뉴스 사이트를 만드는 작업, 즉 HN·레딧·트위터 등을 뒤져 오늘의 주요 소식을 큐레이션하는 일을 두고 그는 이전 세대 모델(소넷 급)로는 한 번 돌리는 데 약 1달러가 들었다고 말한다. 월 30달러를 받아야 수지가 맞는데, 이는 WSJ나 이코노미스트급 가치를 매번 전달하지 않는 한 소비자 앱으로선 지속 불가능한 구조다. 반면 luna로 같은 작업을 하면 평균 비용이 약 0.10달러 수준으로 떨어진다. 열 배의 차이는 단순한 절감이 아니라, 성립하지 않던 비즈니스 모델을 성립하게 만드는 문턱이다.
프런티어와 '충분히 좋은' 모델의 분업
더 흥미로운 지점은 기업 현장이라고 그는 본다. 여러 회사를 운영하는 공동창업자 피터의 사례가 등장한다. 피터는 Segment 외에도 Charm Industrial에서 1억 달러 이상을 조달했고 Revoy의 시리즈 A를 막 마감한 인물이지만, 정작 자기 업무의 약 95%는 '깊은 문제 해결'이 아니라 전화를 돌리고 사람들을 챙기며 일을 굴러가게 만드는 종류라고 털어놓는다. 물론 IQ 180급의 기술적 두뇌가 핵심 난제를 풀어주지 않으면 회사가 성립하지 않는다는 전제는 그대로다. 다만 실제 시간의 대부분은 반복적이고 조율적인 업무가 차지한다는 것이다.
이 관찰에서 저자는 수요가 두 갈래로 갈라진다고 정리한다. 한쪽에는 새로운 돌파구나 발견이 필요한 영역, 즉 엔지니어링·기초과학·모델 학습처럼 프런티어급 지능을 요구하는 수요가 있고, 이쪽은 앞으로도 계속 복리로 커질 것이다. 다른 한쪽에는 '빠르고 싸고 충분히 좋은' 모델에 대한 수요가 있는데, 그는 이 시장이 이제 막 폭발하려 한다고 본다. 회사에서 소비되는 '인간 토큰' 대부분이 결국 즉각 반응하고 알아서 처리해 주는 유형에 쓰이며, 채용 역시 그런 인재상 쪽으로 크게 기울어 있다는 논리다.
한국 실무자에게 남는 함의
국내 개발·기획 실무자 입장에서 이 글이 주는 시사점은 모델 선택을 이분법으로 굳히지 말라는 것이다. 코딩이나 아키텍처 설계처럼 오류 비용이 큰 작업에는 최상위 모델을, 이메일 요약·검색·초안 작성·고객 응대 흐름처럼 반복적이고 양이 많은 작업에는 작고 빠른 모델을 배치하는 계층적 설계가 단위경제를 좌우한다. 특히 사용자당 매일 여러 번 호출이 일어나는 소비자 서비스라면, 요청당 0.1달러와 1달러의 차이가 곧 요금제 성립 여부를 결정한다.
다만 저자 스스로 인정하듯 '충분히 좋은' 모델을 실제 업무에 얹으려면 아직 갖춰야 할 것이 많다. 새로운 실행 환경(하니스), 프롬프트 인젝션에 대한 방어, 역할과 권한 체계가 그것이다. 자동화된 에이전트가 이메일과 내부 지식에 접근하는 순간, 신뢰할 수 없는 입력을 사실 자료로만 다루고 권한을 세밀하게 통제하는 안전장치는 선택이 아니라 전제가 된다. 또 하나 유의할 점은, 원문에 등장하는 모델명과 비용 수치가 저자 개인의 실험과 다소 미래지향적인 명명에 기반한다는 것이다. 절대적 숫자보다는 '한 자릿수 배수의 비용 격차가 제품의 성립 조건을 바꾼다'는 방향성에 무게를 두고 읽는 편이 안전하다.