쿰바이 K3, 2.8조 파라미터 오픈소스 모델이 Telnyx API로 온다

문샷 AI(Moonshot AI)의 플래그십 모델 Kimi K3가 Telnyx Inference API를 통해 서비스되기 시작했다. 공개된 정보에 따르면 K3는 2조 8천억(2.8T) 파라미터 규모로, 사실상 3조 파라미터급에 도달한 첫 오픈소스 모델이라는 점이 가장 큰 특징이다. 100만 토큰(1M) 컨텍스트 윈도우와 네이티브 비전(이미지 이해) 기능을 갖췄고, 추론 강도를 조절할 수 있는 configurable reasoning을 지원한다. 입력 토큰 가격은 100만 토큰당 2.70달러로 안내됐다.

숫자만 놓고 보면 파라미터 규모가 눈길을 끌지만, 실무자가 먼저 읽어야 할 대목은 아키텍처다. 문샷은 K3를 Kimi Delta Attention과 Attention Residuals라는 구조 위에 올렸다고 밝혔다. 파라미터를 2.8조까지 키우면서도 100만 토큰 컨텍스트를 감당하려면 표준 어텐션의 연산·메모리 비용을 그대로 두기 어렵다. 델타 어텐션 계열은 긴 문맥에서의 상태 갱신을 효율화하려는 접근으로 알려져 있는데, 공개 자료가 세부 수치까지 제시하지는 않았으므로 구조적 방향성만 참고하는 편이 안전하다.

파라미터 규모보다 중요한 배포 지점

Telnyx가 이번 발표에서 반복해 강조한 메시지는 '모델 자체'가 아니라 '요청이 어디서 실행되는가'다. 즉 가장 똑똑한 모델을 만드는 경쟁에서, 각 요청을 어느 인프라로 라우팅할지 결정하는 인프라 경쟁으로 무게중심이 옮겨가고 있으며 모델 쪽 격차는 빠르게 좁혀지고 있다는 것이다. 실제로 K3는 Telnyx가 직접 보유한 GPU 인프라 위에서 구동되고, OpenAI 호환 API로 접근할 수 있다. 기존에 OpenAI SDK로 코드를 작성해 둔 팀이라면 엔드포인트와 모델 이름만 바꿔 붙여볼 수 있는 구조라는 의미다.

오픈소스 모델을 자체 서빙하지 않고 관리형 API로 쓸 수 있다는 점은 국내 실무 관점에서 현실적인 이점이다. 2.8조 파라미터 모델을 사내에서 직접 호스팅하려면 GPU 확보와 운영 부담이 상당하기 때문에, 벤더가 소유한 인프라에서 토큰 단위로 과금하는 방식은 초기 검증 비용을 크게 낮춘다. 100만 토큰 컨텍스트는 긴 문서 분석, 코드베이스 전체 투입, 다단계 에이전트 워크플로우처럼 문맥 길이가 병목이던 작업에서 특히 매력적이다.

성능 주장과 한계를 분리해서 볼 것

다만 성능에 대한 서술은 신중하게 받아들일 필요가 있다. 발표는 K3가 코딩, 추론, 에이전트형 지식 작업 벤치마크에서 Anthropic과 OpenAI의 폐쇄형 프런티어 모델과 경쟁하며 일부 영역에서는 이미 대등하다고 주장한다. 그러나 어떤 벤치마크에서 어떤 점수가 나왔는지 구체적 수치는 이번 자료에 담기지 않았다. 벤더가 제시하는 '프런티어급'이라는 표현은 마케팅 프레이밍일 수 있으므로, 실제 도입을 검토한다면 자사 과제에 맞춘 자체 평가가 선행되어야 한다.

가격 정보도 절반만 공개된 상태다. 입력 100만 토큰당 2.70달러라는 수치는 나와 있지만 출력 토큰 단가는 안내되지 않았다. 실서비스 비용은 대개 출력 쪽에서 크게 갈리고, 긴 컨텍스트를 자주 채워 넣는 워크로드에서는 입력 비용도 빠르게 누적된다. 100만 토큰 컨텍스트를 실제로 얼마나 자주, 얼마나 채워 쓰느냐에 따라 체감 비용은 단가표와 크게 달라질 수 있다.

정리하면 K3는 두 가지 신호를 동시에 던진다. 하나는 오픈소스 진영이 파라미터 규모와 컨텍스트 길이에서 프런티어 랩을 빠르게 따라잡고 있다는 것이고, 다른 하나는 모델 확보만큼이나 그 모델을 어디서 어떻게 서빙하느냐가 경쟁의 축이 되고 있다는 점이다. 국내 팀이라면 지금 단계에서는 대규모 마이그레이션보다, OpenAI 호환 인터페이스라는 낮은 진입장벽을 활용해 자사 데이터로 코딩·에이전트 과제를 소규모로 벤치마킹하고 출력 단가와 지연 시간까지 함께 측정해 본 뒤 판단하는 편이 합리적이다. 세부 사양과 사용법은 Telnyx의 Inference 문서와 Mission Control에서 확인할 수 있다.