90년 묵은 매듭이론 난제가 풀렸어요 — 'Burau 표현의 n=4 충실성' 증명

90년 묵은 수학 난제가 풀렸다는 소식이에요

arXiv에 '브레이드 그룹의 Burau 표현은 n = 4에서 충실하다'는 제목의 논문이 올라왔는데요. 제목만 보면 '이게 개발이랑 무슨 상관이지' 싶으시겠지만, 사실 이건 매듭이론(knot theory) 분야에서 수십 년 동안 풀리지 않던 유명한 문제거든요. 게다가 양자컴퓨팅이나 암호학하고도 연결되는 이야기라서, 오늘은 이 소식을 개발자 눈높이에서 풀어볼게요.

브레이드 그룹이 뭐냐면

끈 n가닥을 위에서 아래로 늘어뜨려 놓고, 이웃한 두 가닥을 서로 교차시켜 꼬는 장면을 상상해 보세요. 여러 번 꼬면 하나의 '꼬임 패턴'이 만들어지는데요, 꼬임 두 개를 위아래로 이어 붙이면 또 다른 꼬임이 돼요. 이 '이어 붙이기'가 연산이 되고, 꼬았던 순서를 거꾸로 되짚으면 원래대로 풀리니까 역원도 존재해요. 수학에서는 이런 구조를 군(group)이라고 부르는데, n가닥 꼬임 전체가 이루는 군이 바로 브레이드 그룹 B_n이에요.

그런데 이런 추상적인 꼬임을 계산으로 다루려면 뭔가 구체적인 형태로 바꿔야겠죠. 그래서 나온 개념이 표현(representation)이에요. 이게 뭐냐면, 군의 각 원소를 행렬 하나에 대응시키는 거예요. 꼬임을 이어 붙이는 연산이 행렬 곱셈과 정확히 맞아떨어지도록요. 추상적인 객체를 계산 가능한 자료구조로 바꾸는 일종의 직렬화(serialization)라고 생각하시면 감이 올 거예요. 1936년에 수학자 Burau가 고안한 Burau 표현이 그 대표 주자인데, n가닥 꼬임 하나를 행렬 하나로 변환해 줘요.

핵심 질문: 이 인코딩은 무손실인가

여기서 자연스러운 질문이 나와요. 이 변환이 손실 없는 인코딩이냐는 거예요. 서로 다른 꼬임은 반드시 서로 다른 행렬로 변환될까요? 수학에서는 이 성질을 충실하다(faithful)고 불러요. 만약 서로 다른 두 꼬임이 같은 행렬로 변환돼 버리면, 행렬만 보고는 원래 꼬임을 복원할 수 없으니 정보가 손실된 거죠. 개발자 식으로 말하면 해시 충돌이 난 상황이에요.

역사를 보면 흥미로운데요. 가닥이 3개 이하일 때는 충실하다는 게 일찌감치 증명됐어요. 반대 방향으로는 1991년에 Moody가 9가닥 이상에서 충실하지 않다는 걸 보였고, Long과 Paton이 6가닥 이상으로, 1999년에는 Bigelow가 5가닥까지 범위를 좁혔어요. 그래서 딱 하나, n = 4만 어느 쪽으로도 결론이 나지 않은 채 남아 있었던 거예요. 이번 논문이 맞다면, 마지막 남은 퍼즐 조각이 '충실하다' 쪽으로 채워지는 셈이에요.

왜 이 문제가 그렇게 유명했냐면

단순히 '마지막 남은 케이스'라서가 아니에요. Bigelow가 2002년에 보여준 결과가 있는데요, 만약 B_4의 Burau 표현이 충실하지 않다면, 존스 다항식(Jones polynomial)으로는 알아볼 수 없는 비자명 매듭을 실제로 만들어낼 수 있다는 거였어요. 존스 다항식이 뭐냐면, 매듭마다 계산할 수 있는 일종의 지문 같은 값이에요. '존스 다항식은 풀려 있는 끈(unknot)을 항상 구별해낼 수 있는가'는 매듭이론에서 손꼽히는 난제인데, 만약 Burau가 불충실했다면 그 반례를 구성하는 구체적인 경로가 열리는 상황이었거든요. 이번 결과로 그 경로는 닫혔어요. 반례 사냥꾼들이 노리던 가장 유력한 루트 하나가 막힌 거죠.

개발자와의 접점

'그래도 수학이잖아' 하실 수 있는데, 접점이 생각보다 가까워요. 존스 다항식을 근사 계산하는 문제는 양자컴퓨터가 고전 컴퓨터보다 잘한다고 알려진 대표적인 문제예요(BQP-완전 문제로 알려져 있어요). 그리고 위상 양자컴퓨팅(topological quantum computing)에서는 애니온이라는 입자를 물리적으로 '꼬아서' 연산 게이트를 구현하는데, 이 꼬임의 수학이 바로 브레이드 그룹이에요. 마이크로소프트가 마요라나 기반 양자칩으로 밀고 있는 방향이 이쪽이죠. 2000년대에는 브레이드 그룹의 계산 난제를 기반으로 한 암호 시스템도 활발히 연구됐고요. 이런 분야들의 수학적 토대에 관한 근본 질문 하나가 이번에 정리된 거예요.

한 가지 유의할 점은, 아직 프리프린트라는 거예요. 수학계에서는 이런 규모의 증명이 커뮤니티 검증을 거치는 데 시간이 꽤 걸려요. 페르마의 마지막 정리 증명도 검수 과정에서 구멍이 발견돼 보완됐던 것처럼요. 그래도 90년 가까이 버티던 질문에 답이 제시됐다는 것 자체가 큰 사건이에요.

정리하면

1936년에 만들어진 인코딩이 4가닥에서 무손실이라는 게 마침내 증명됐고, 이는 매듭이론과 양자컴퓨팅의 근본 질문들과 맞닿아 있어요. 순수수학이 수십 년 뒤에 기술이 된 사례, 뭐가 떠오르세요? 정수론이 RSA 암호가 된 것처럼, 브레이드 그룹이 실무 기술로 내려오는 날도 올까요? 여러분 생각이 궁금해요.