1991년 뮌헨, 챗GPT의 진짜 뿌리가 된 그해

오늘날 챗GPT와 거대언어모델(LLM) 열풍의 핵심 기술들이 사실 1991년 독일 뮌헨공대 위르겐 슈미트후버 연구실에서 싹텄다는 주장입니다. 그는 1991년을 딥러닝의 '기적의 해'라 부릅니다. 첫째, '빠른 가중치 프로그래머(Fast Weight Programmers)'는 오늘날 트랜스포머의 심장인 어텐션 메커니즘의 원형으로, 선형 트랜스포머와 수학적으로 사실상 동일합니다. 둘째, '신경망 히스토리 압축기'는 비지도 사전학습과 자기 증류(distillation)로 깊은 신경망을 학습시킨 초기 사례로, 오늘날 사전학습 패러다임을 예고했습니다. 셋째, 제자 제프 호흐라이터의 기울기 소실 문제 분석은 1997년 LSTM으로 이어졌고, 1990년의 적대적 호기심 개념은 GAN의 선구였습니다. 결국 현재 AI 붐의 지적 뿌리가 30여 년 전 유럽에 있었으며, 우리가 쓰는 기술의 출처와 계보를 제대로 기억하자는 메시지를 던집니다.