KV 캐시를 75% 줄였는데 성능은 더 좋아졌다 — Kimi Linear 아키텍처 뜯어보기

어텐션 층 4개 중 3개를 갈아끼웠더니

Moonshot AI가 Kimi Linear라는 새 어텐션 구조를 논문으로 내놓고, 모델 체크포인트와 GPU 커널까지 함께 공개했어요. 한 줄로 줄이면 '트랜스포머의 어텐션 층 넷 중 셋을 선형 어텐션으로 갈아끼웠는데, 성능이 안 떨어지고 오히려 더 좋아졌다'는 이야기예요.

왜 지금 이 얘기가 중요한지 배경부터 볼게요. 기본 어텐션은 토큰 하나를 만들 때마다 앞의 모든 토큰을 다시 훑어봐요. 길이가 2배가 되면 계산량은 4배가 되는 구조죠. 더 아픈 건 메모리예요. 추론할 때는 지금까지 본 토큰들의 키와 값을 전부 GPU에 들고 있어야 하는데(이걸 KV 캐시라고 해요), 이게 컨텍스트 길이에 정비례로 커져요. 100만 토큰짜리 저장소를 통째로 넣거나 에이전트가 수십 턴 히스토리를 쌓으면 GPU 메모리가 거의 캐시로 차버리고, 그러면 동시에 받을 수 있는 요청 수가 확 줄어요. 그게 그대로 서비스 원가가 되죠.

선형 어텐션이 뭐냐면

회의록에 비유해볼게요. 일반 어텐션은 모든 발언 원문을 그대로 보관해두고, 새로 말할 때마다 처음부터 전부 다시 읽는 방식이에요. 정확하지만 회의가 길어지면 감당이 안 되죠. 선형 어텐션은 대신 요약 노트 한 장을 두고 계속 갱신해요. 새 토큰이 오면 노트를 조금 고치고, 답을 낼 때는 그 노트만 봐요. 노트 크기가 고정이라 메모리가 안 늘고 토큰당 계산도 일정해요. RNN과 비슷한 구조인데, 학습할 때는 시퀀스를 덩어리로 쪼개 행렬곱으로 병렬 처리하는 기법(chunkwise 방식)으로 GPU를 제대로 쓸 수 있게 만들어요.

단점도 뻔해요. 요약 노트라서 세부가 뭉개져요. '20만 자 문서 안에 딱 한 번 등장한 계좌번호 찾기' 같은 정확 회상 과제에서 약한 게 선형 어텐션의 오래된 약점이었어요.

KDA: 지우고 다시 쓰는 메모, 채널마다 다른 망각률

Kimi Linear의 핵심 부품은 KDA(Kimi Delta Attention)예요. 두 아이디어가 붙어 있어요.

첫째는 델타 규칙이에요. 초기 선형 어텐션은 노트에 계속 덧붙이기만 했어요. 그래서 옛 정보와 새 정보가 뒤섞였죠. 델타 규칙은 '기존에 적어둔 값을 지우고 새 값으로 덮어쓰는' 오류 보정 방식이에요. 친구 주소가 바뀌었을 때 새 주소를 밑에 또 적는 게 아니라, 옛 줄을 지우고 다시 쓰는 거예요. DeltaNet 계열이 이 방식으로 정확 회상을 크게 개선했어요.

둘째는 채널별 게이트예요. 게이트는 '얼마나 잊을지' 정하는 손잡이인데요, 앞선 Gated DeltaNet은 어텐션 헤드마다 손잡이 하나를 뒀어요. KDA는 노트의 차원(채널) 하나하나에 따로 손잡이를 달았어요. 어떤 축의 정보는 오래 붙잡고 어떤 축은 금방 흘려보내게 조절할 수 있는 거죠. 금방 낡는 위치 정보와 오래 유지돼야 하는 주제 정보를 다르게 다룰 수 있어요.

문제는 이 둘을 합치면 상태 전이 행렬이 '대각 행렬 더하기 낮은 계수 항' 형태가 되면서 계산이 비싸진다는 점이에요. KDA는 그 저계수 항을 키 벡터에서 함께 유도하도록 제약을 걸어 필요한 행렬곱 수를 줄였고, 범용 구현 대비 커널을 훨씬 빠르게 만들었어요. 이 커널을 flash-linear-attention 쪽에 공개하고 vLLM 연동까지 같이 내놓은 게 실용적인 포인트예요. 논문만 있고 커널이 없으면 아무도 못 쓰거든요.

3:1 하이브리드, 그리고 위치 인코딩을 아예 뺀 선택

전부 선형으로 가면 정확 회상이 아쉬우니까, KDA 층 3개마다 진짜 어텐션 층(DeepSeek 계열의 MLA)을 1개 섞었어요. 대부분은 싸게 처리하고 주기적으로 원문을 정밀하게 들여다보는 구성이죠. 캐시를 들고 있어야 하는 층이 4분의 1로 줄었으니 KV 캐시도 대략 75% 줄어요. 100만 토큰 구간에서 디코딩 처리량이 최대 6배 수준으로 올라간다고 보고하는 근거가 이거예요.

재미있는 건 그 풀 어텐션 층에 위치 인코딩을 아예 안 넣었다는 점이에요(NoPE). 보통 RoPE 같은 걸 넣어 순서를 알려주는데, KDA가 순차적으로 상태를 갱신하니 위치 정보를 이미 품고 있다고 보고 맡겨버린 거죠. 위치 인코딩은 학습 길이를 넘어서면 외삽이 흔들리는 원인이기도 해서, 아예 빼는 편이 긴 컨텍스트 일반화에 유리할 수 있어요. 규모는 총 48B 파라미터 MoE에 활성 3B, 학습은 5조 토큰이 넘고, 짧은 문맥과 긴 문맥, 강화학습 단계 모두에서 동급 풀 어텐션 기준선을 넘었다고 주장해요.

업계 맥락: 두 갈래 길

긴 컨텍스트 문제를 푸는 흐름은 크게 두 갈래예요. 하나는 어텐션을 RNN처럼 압축하는 길이고(Mamba, RWKV, Gated DeltaNet, MiniMax의 lightning attention, Qwen3-Next의 하이브리드), 다른 하나는 어텐션을 유지하되 볼 곳만 골라 보는 희소 어텐션 길이에요(DeepSeek의 NSA와 희소 어텐션 실험이 대표적이죠).

Kimi Linear는 첫 번째 길에서 하이브리드 비율 3:1이라는, Qwen3-Next와 비슷한 지점에 서 있어요. 눈여겨볼 반례도 있어요. MiniMax는 초기 모델에서 하이브리드 선형을 크게 밀었는데 이후 세대에서 풀 어텐션으로 되돌아갔어요. 벤치마크 점수로는 잘 안 드러나는 미묘한 성능 구멍과 서빙 인프라 성숙도가 이유로 언급됐죠. 그래서 Kimi Linear가 '단문에서도 밀리지 않는다'와 '강화학습 단계에서도 잘 붙는다'를 특히 강조하는 건 우연이 아니에요. 이 계열이 늘 지적받던 두 지점이니까요.

한국 개발자에게 주는 시사점

이런 모델을 직접 학습할 팀은 많지 않겠지만, 서빙 비용 구조를 이해하는 데는 굉장히 실용적인 얘기예요. 자체 GPU로 LLM을 돌려본 분들은 아실 텐데, 동시 처리 요청 수는 사실상 KV 캐시가 남는 만큼 결정돼요. 캐시가 4분의 1이면 같은 카드로 훨씬 많은 세션을 받을 수 있고, 이건 요금표에 그대로 반영돼요. 긴 문서 RAG나 여러 턴을 도는 에이전트처럼 입력이 계속 자라는 워크로드라면 특히요.

당장 해볼 수 있는 건 두 가지예요. 하나는 vLLM에서 이 계열 모델을 자기 워크로드로 직접 벤치마크해보는 거예요. 공개된 배수는 이상적 조건의 값이니 우리 프롬프트 길이와 배치 형태로 다시 재봐야 해요. 다른 하나는 정확 회상 성격의 평가셋을 만들어 돌려보는 거예요. 사내 문서에서 특정 수치 하나 찾아오게 하는 과제 같은 거요. 선형 계열은 여기서 약점이 드러나기 쉬워서, 요약은 매끄러운데 표의 숫자 하나를 틀리는 식의 문제가 나올 수 있어요.