뇌파로 '묵독' 단어를 읽어낸다: 49시간 EEG 실험이 보여준 것과 한계

머릿속으로 조용히 문장을 읽거나 떠올릴 때의 '내적 언어(inner speech)'를 비침습 뇌파로 해독하려는 시도는 오래된 목표다. 하지만 이 분야에는 근본적인 데이터 문제가 있다. 사람이 자발적으로 떠올리는 속마음의 독백과 그때의 뇌 활동을 정확히 짝지은 대규모 코퍼스는 애초에 수집할 수 없기 때문이다. 지금까지 쓰이던 대체 과제들, 즉 특정 단어를 반복해 떠올리게 하는 방식이나 실험이 끝난 뒤 무엇을 생각했는지 회고적으로 보고받는 방식은 수집 속도가 느리고, 뇌 신호와 시점이 정밀하게 맞물리지 않으며, 피험자가 실제로 지시대로 했는지 검증할 방법도 없다. 최근 arXiv에 공개된 한 연구는 이 교착을 우회하기 위해 '묵독(silent reading)'을 확장 가능한 대체 과제로 삼았다.

왜 묵독을 택했나

묵독은 화면에 제시된 단어를 참가자가 눈으로 읽는 순간을 정확히 알 수 있다는 장점이 있다. 즉 자극의 시점과 정체가 명확해 뇌 신호와 시간적으로 정밀하게 정렬(time-lock)할 수 있고, 실제로 그 단어를 읽었는지도 통제하기 쉽다. 연구진은 한 명의 참가자를 밀도 높게 반복 측정하는 방식을 택했다. 19채널 건식 전극 EEG로 393회 세션, 약 49시간에 걸쳐 대략 24만 건의 단어 제시를 기록했다. 단어는 연속된 서사 텍스트에서 뽑아 빠른 순차 시각 제시(RSVP) 방식으로 화면에 흘려보냈고, 매 시행마다 글꼴 등 타이포그래피를 무작위로 바꿔 단어의 정체와 저수준 시각적 형태 사이의 상관을 부분적으로 끊었다. 이는 뇌가 '글자 모양'이 아니라 '단어'를 처리한 신호를 잡아내기 위한 통제 장치다.

대조 학습으로 뇌파와 단어를 정렬

해독 모델은 합성곱(convolution) 기반 EEG 인코더에 선택적으로 인과적 트랜스포머를 얹은 구조다. 학습 목표는 이미지-텍스트 모델로 알려진 CLIP과 유사한 대조 학습 방식으로, 짧은 EEG 구간을 그 순간 제시된 단어의 임베딩과 정렬하도록 했다. 이때 단어 임베딩은 대규모 언어모델의 은닉 상태에서 가져왔다. 성능은 '단어 단위 top-10 검색' 방식으로 평가했다. 즉 뇌파가 주어졌을 때 후보군에서 정답 단어를 상위 10개 안에 포함시키는지를 무작위 순열(permutation) 기준선과 비교한 것이다. 결과는 우연 수준을 안정적으로 넘어섰고, 중간 빈도어와 드문 단어에까지 해독이 확장됐다. 개방 어휘(open-vocabulary) 환경에서 특정 소수 단어에 국한되지 않는 정보가 실제로 EEG에 남아 있다는 뜻이다.

이 연구에서 실무적으로 가장 눈여겨볼 대목은 성능이 학습 데이터 양에 대해 로그-선형으로 증가했고, 포화(saturation)의 조짐이 없었다는 점이다. 다시 말해 현재 해독 정확도의 한계는 알고리즘 자체가 뇌 신호의 정보를 다 뽑아냈기 때문이 아니라, 단지 데이터가 부족하기 때문이라는 해석이다. 연구진이 결론에서 '포화가 아니라 데이터 제약'이라고 못 박은 것은, 더 많은 시간을 기록할수록 성능이 계속 오를 여지가 있다는 방향성을 제시한다.

시각 신호와 언어 처리를 분리하려는 통제

비침습 해독 연구에서 늘 제기되는 의심은 '결국 시각 자극을 읽어낸 것 아니냐'는 것이다. 연구진은 후두엽과 후측두엽 전극을 제거하는 실험으로 이를 검증했다. 이 전극들을 빼자 단어 단위 해독 성능은 약 3분의 1 줄었지만, 문맥 추적(context tracking) 능력은 그대로 유지됐다. 즉 단어 수준 정보의 상당 부분은 시각 영역에 의존하지만, 서사의 맥락을 따라가는 정보는 별개의 경로에 담겨 있음을 시사한다. 추가로 연구진은 단어 단위 해독, 서사 문맥 추적, 그리고 트랜스포머의 위치 임베딩이 만들어내는 비신경적 위치 편향(positional prior)을 서로 분리하는 통제 분석을 수행했다. 이는 '진짜 뇌에서 온 단어 정보'와 '모델 구조가 만든 착시'를 구분하기 위한 장치다.

실무자가 읽어야 할 지점과 한계

한국의 BCI·헬스케어·HCI 실무자에게 이 연구가 주는 메시지는 두 가지다. 하나는 건식 전극 19채널이라는 비교적 저렴하고 착용이 간편한 장비로도 개방 어휘 수준의 단어 정보가 회수 가능하다는 실증이고, 다른 하나는 성능 확장의 병목이 모델이 아니라 데이터 규모라는 진단이다. 이는 값비싼 고밀도 장비보다 대량의 정렬된 데이터 확보 전략이 더 중요할 수 있음을 뜻한다. 다만 한계는 분명하다. 이 결과는 단 한 명의 참가자를 49시간 반복 측정해 얻은 것이어서 다른 사람에게 일반화되는지는 확인되지 않았다. 또 묵독은 어디까지나 자발적 내적 언어의 대체 과제이며, 화면에 제시된 단어를 읽는 것과 스스로 떠올리는 속마음은 다른 문제다. 성능 지표도 정확한 단어 복원이 아니라 top-10 검색 수준이라는 점, 타이포그래피 무작위화가 시각 상관을 '부분적으로만' 끊었다는 점도 함께 고려해야 한다. 결국 이 연구는 '마음을 읽는 기술'의 완성이 아니라, 비침습 해독이 원리적으로 데이터를 더 쌓으면 나아갈 방향이 있다는 좌표를 제시한 단계로 읽는 편이 정확하다.