LLM 어텐션을 INT4 인메모리 셀로 바꾸는 '지속 상태 기계' 설계 뜯어보기

대형언어모델(LLM)의 어텐션 연산은 여전히 곱셈·누산과 소프트맥스에 크게 의존하며, 이 과정에서 데이터가 메모리와 연산 유닛 사이를 끊임없이 오가는 것이 전력과 지연의 근본 원인으로 지목된다. Zenodo에 공개된 'Persistent State Machines(PSM)' 문서 8.0판은 이 문제를 다른 각도에서 접근한다. 어텐션 연산자를 연속적인 실수 행렬 곱이 아니라, 고정된 인메모리 셀들이 국소적이고 결정론적인 상태 전이를 수행하는 이산(discrete) 프레임워크로 재정의하자는 제안이다. 연산을 데이터가 있는 곳으로 '방송(broadcast)'하고, 셀은 제자리에서 자신의 상태만 갱신한다는 인메모리 컴퓨팅의 발상을 어텐션에 구체화한 셈이다.

무엇을 증명했나

이 문서의 절반은 하드웨어가 아니라 수학적 정당화에 할애돼 있다. 저자는 양자화 오차의 상한, 로짓이 유계(bounded)라는 명시적 가정 아래에서의 다단계 이산 소프트맥스 구성, 공간적 인수분해를 동반한 결정론적 유한오토마톤과의 동치성, 그리고 이 연산이 DSPACE(O(n))에 속한다는 점을 증명했다고 밝힌다. 풀어 말하면, 근사적으로 '비슷하게 동작한다'가 아니라 유한한 상태 기계로 정확히 환원 가능하며 선형 공간 안에서 처리된다는 형식적 주장이다. 소프트맥스를 유계 로짓 가정 위에서 이산적으로 재구성했다는 점은 특히 중요한데, 지수 함수의 동적 범위가 저비트 정수 연산의 최대 걸림돌이기 때문이다. 다만 유계 로짓 가정이 실제 학습된 모델의 분포에서 얼마나 자연스럽게 성립하는지는 이 문서만으로 판단하기 어렵다.

두 갈래의 FPGA 검증

구현 타당성은 두 개의 서로 다른 흐름으로 확인됐다. 첫째는 저전력 평가로, Zynq-7000(xc7z020)에 d=128 기준 1024개 셀 배열을 OOC(out-of-context) 블록 디자인으로 올렸다. 배치·배선 이후 넷리스트에 기능 시뮬레이션에서 얻은 SAIF(스위칭 활동 파일)를 주석으로 붙여 전력을 추정한 결과, 하드웨어 수준의 자기 활성화 게이팅이 실제로 스위칭하는 셀을 희소하게(sparse) 제한한다는 점을 보였다. 코어 로직의 동적 전력은 1.0mW 미만으로 추정됐고, 연산당 정규화 동적 에너지는 3.81×10⁻⁵ pJ/op로 계산됐다. 활성 셀만 전력을 소모하는 구조라면, 어텐션의 희소성을 회로 차원에서 직접 활용한다는 이야기가 된다.

둘째는 시스템 통합성 검증이다. UltraScale+(xcvu9p)에 256셀 서브어레이(1-헤드 어텐션에 해당)를 AMBA AXI4 인터커넥트와 PCIe Gen3 x1 브리지(XDMA v4.2)를 갖춘 완전한 SoC 안에 넣었다. AWS 클라우드 FPGA 개발 환경에서 62.5MHz 단일 시스템 클럭으로 타이밍을 마감했고, WNS(최악 음의 슬랙)는 +1.854ns로 여유가 있었다. 자원 점유율은 로직 슬라이스의 0.67%, DSP 블록은 0.00%에 불과했다. DSP를 전혀 쓰지 않았다는 대목은 이 설계가 곱셈기 기반이 아니라 상태 전이·룩업 중심임을 그대로 보여주는 지표다. 기능 시뮬레이션에서 1,000개 이상의 무작위 벡터가 고정소수점 소프트웨어 레퍼런스와 비트 단위로 정확히 일치했다는 점은 설계의 결정론적 성격을 뒷받침한다.

실무자가 읽을 때 유의할 점

한국의 하드웨어·엣지 AI 실무자 입장에서 흥미로운 지점은 명확하다. DSP를 소모하지 않고 슬라이스 점유율이 1% 미만이라는 것은 헤드 수를 늘려 스케일업할 여지가 크다는 뜻이고, 자기 활성화 게이팅으로 희소 셀만 켜지는 구조는 상시 구동 엣지 추론에서 전력 예산을 크게 줄일 수 있는 방향성을 시사한다. 비트 정확 일치가 확인됐다는 것도 검증·인증이 중요한 임베디드 도메인에서 매력적이다.

동시에 문서 스스로 밝힌 한계를 분명히 인식할 필요가 있다. 모든 에너지 수치는 합성된 로직에 대한 시뮬레이션 기반 툴 추정치이며, 실제 FPGA 보드에서 측정한 값이 아니다. 게다가 시스템 수준의 외부 메모리 에너지는 계산에서 엄격히 제외됐는데, 실제 LLM 어텐션에서 KV 데이터 이동이 차지하는 비중을 생각하면 이 배제는 전체 그림을 크게 바꿀 수 있다. 즉 3.81×10⁻⁵ pJ/op 같은 숫자는 코어 로직만의 이상적 조건에서 나온 값으로, 종단 시스템 전력과 직접 비교하기는 어렵다.

결국 이 작업은 어텐션을 정수 상태 기계로 형식화할 수 있음을 수학적으로 정리하고 프로그래머블 로직 위에서 합성·타이밍 마감까지 가능함을 보인, 실현 가능성 단계의 결과물로 읽는 것이 타당하다. 일본 특허(출원번호 2026-177318, 출원 중) 상태이며, 정확도가 실제 모델 품질로 이어지는지, 물리 측정에서 전력 이점이 유지되는지는 아직 남은 과제다. 저비트 인메모리 어텐션이라는 방향을 진지하게 검토하려는 팀이라면, 매력적인 자원·전력 수치와 함께 '측정이 아닌 추정'이라는 전제를 나란히 놓고 판단하는 것이 안전하다.