„지금의 AI 붐, 사실 1991년 뮌헨에서 싹텄다“ — 슈미트후버의 주장

트랜스포머의 뿌리를 거슬러 올라가면

챗GPT가 세상을 뒤집어 놓으면서 트랜스포머(Transformer), 어텐션(attention) 같은 단어가 일상이 됐잖아요. 그런데 AI 분야의 거장 위르겐 슈미트후버(Jürgen Schmidhuber)가 흥미로운 주장을 정리해서 내놨어요. „오늘날 AI 붐의 핵심 아이디어들은 사실 1991년 독일 뮌헨에 있던 내 연구실에서 다 싹텄다“는 거예요.

슈미트후버는 ‘LSTM의 아버지’로 유명한 사람이에요. LSTM이 뭐냐면, 트랜스포머가 나오기 전까지 음성 인식이나 번역 같은 데서 한 시대를 풍미했던 신경망 구조예요. 그런 그가 1990~91년을 자기 연구실의 ‘기적의 해(annus mirabilis)’라고 부르면서, 요즘 기술들의 뿌리를 하나하나 짚어요.

1991년에 이미 있었다는 아이디어들

첫째, 자기지도 사전학습(self-supervised pre-training)의 원조. 이게 뭐냐면, 정답 라벨 없이 데이터 자체의 구조만으로 먼저 학습시켜 두는 방식이에요. GPT가 인터넷 텍스트로 ‘다음 단어 맞히기’를 하며 미리 똑똑해지는 게 바로 이거죠. 슈미트후버는 1991년에 ‘신경 역사 압축기(Neural History Compressor)’라는 걸로, 한 신경망이 다음에 올 입력을 예측하게 해서 아주 깊은 망을 학습시키는 데 성공했다고 해요. 요즘 말로 사전학습의 시초인 셈이에요.

둘째, 더 놀라운 건 트랜스포머의 원형이에요. 슈미트후버는 자기가 1991년에 만든 ‘빠른 가중치 프로그래머(Fast Weight Programmers)’가 사실상 오늘날의 ‘선형 트랜스포머(linear Transformer)’와 수학적으로 같다고 주장해요. 트랜스포머의 핵심인 키(key)·값(value)·쿼리(query) 개념이, 당시 그가 쓰던 장치에 이미 들어 있었다는 거죠. 즉 어텐션의 씨앗이 30년도 더 전에 있었다는 얘기예요.

셋째, GAN(생성적 적대 신경망)의 원조 격인 아이디어도 1990년 그의 ‘인공 호기심(artificial curiosity)’ 연구에 있었다고 해요. 두 신경망이 서로 겨루면서 한쪽은 속이려 하고 한쪽은 간파하려 하는 구조인데, 이게 나중에 가짜 이미지를 진짜처럼 만들어내는 GAN의 발상과 닿아 있다는 거죠.

여기에 더해, 딥러닝의 오랜 난제였던 ‘기울기 소실 문제(vanishing gradient)’ — 신경망이 깊어지면 학습 신호가 뒤로 갈수록 희미해져 사라지는 현상 — 도 1991년 그의 제자 제프 호흐라이터가 처음 규명했어요. 이 문제를 풀려고 나온 게 바로 LSTM이고요.

업계 맥락 — ‘원조 논쟁’을 어떻게 볼까

슈미트후버는 사실 ‘AI 분야의 원조 따지기’로도 유명한 사람이에요. 딥러닝 3대 거장(힌튼·벤지오·르쿤)이 튜링상을 받았을 때도 „공로 배분이 잘못됐다“고 공개적으로 문제를 제기했죠. 그래서 이런 글을 두고 „또 자기 공치사냐“는 시선도 있어요.

하지만 곱씹어볼 지점은 분명해요. 우리가 ‘2017년 트랜스포머 논문에서 갑자기 튀어나온 혁신’이라고 여기는 것들이, 알고 보면 수십 년에 걸친 아이디어의 축적 위에 서 있다는 거예요. 컴퓨팅 파워와 데이터가 부족하던 시절엔 빛을 못 봤을 뿐, 개념 자체는 일찍 등장했던 거죠.

한국 개발자에게 주는 시사점

실무에 당장 쓸 코드는 아니지만, 이 글은 ‘기술의 계보’를 보는 눈을 길러줘요. 최신 모델만 좇다 보면 „왜 이렇게 설계됐지?“를 놓치기 쉬운데, 어텐션이나 사전학습이 어떤 문제를 풀려고 나왔는지 뿌리를 알면 응용력이 완전히 달라지거든요. 새 기술이 나왔을 때 „이거 예전 그 아이디어의 변형이네“ 하고 연결 짓는 힘, 그게 오래 가는 개발자의 무기예요.