AI가 암호 해독 기법을 스스로 개선했어요 — 암호학자가 짚어주는 진짜 의미

무슨 일이 있었냐면요

Anthropic이 얼마 전 기술 보고서를 하나 냈는데요, 내용이 좀 놀랍습니다. 자기네 최신 AI 모델이 코드 실행 샌드박스를 붙인 에이전트 루프 안에서 돌아가면서, 격자 축소(lattice reduction)라는 암호 해독 기법을 개선하는 새로운 방법을 스스로 찾아냈고, 그걸로 NIST 양자내성암호 후보 알고리즘의 '축소판' 파라미터를 실제로 깼다는 거예요. 존스홉킨스 대학의 저명한 암호학자 매튜 그린(Matthew Green) 교수가 이 결과를 차분하게 뜯어보는 글을 올렸는데, 과장도 무시도 아닌 균형 잡힌 분석이라 소개해 드릴게요.

격자 암호가 뭐냐면

먼저 배경부터요. 지금 우리가 쓰는 RSA 같은 암호는 양자컴퓨터가 충분히 커지면 깨질 수 있어요. 그래서 NIST(미국 표준기술연구소)가 양자컴퓨터로도 못 깨는 '양자내성암호(PQC)'를 표준화하고 있는데, 그 주력이 격자(lattice) 기반 암호거든요. 이게 뭐냐면, 수백 차원의 공간에 점들이 규칙적으로 찍혀 있을 때 '원점에서 가장 가까운 점을 찾아라' 같은 수학 문제인데, 차원이 높아지면 양자컴퓨터로도 풀기 어렵다고 알려져 있어요. 이런 격자 문제를 공격하는 대표 도구가 BKZ 같은 격자 축소 알고리즘이고요.

AI가 실제로 한 일

이번에 모델이 한 일을 구체적으로 보면요. 약 6일 동안 에이전트 루프를 돌면서 수천 개의 공격 아이디어를 생성했는데, 그린 교수 표현으로는 대부분 쓰레기였대요. 그런데 그중 하나가 진짜였습니다. 해당 암호 스킴이 사용하는 환(ring)의 대수적 구조를 이용해서, 본격적인 격자 축소를 시작하기 전에 격자의 유효 차원을 깎아내는 전처리 단계를 새로 만들어낸 거예요. 검증팀 추산으로 해당 파라미터에 대해 8~10비트 정도 보안 강도를 낮추는 개선이라고 해요. Anthropic 내부 연구자들과 외부 학계 그룹 두 곳이 결과를 검증했고요.

여기서 중요한 단서가 붙는데요. 깨진 건 원래 제출팀이 '공격 연습용'으로 일부러 공개한 축소 라운드, 축소 차원의 장난감 버전이에요. 4라운드짜리 AES를 깨는 것과 비슷한 의미라고 보시면 돼요. 보안 마진을 이해하는 데는 의미가 있지만, 실제 배포된 암호가 뚫린 게 전혀 아니라는 거죠. 여러분의 TLS 연결은 오늘도 안전합니다.

그런데 왜 이게 중요하냐면

그린 교수가 짚는 지점이 흥미로운데요. 결과 자체만 놓고 보면 '매년 괜찮은 박사 논문에 나올 법한 수준의 점진적 개선'이래요. 대학원생이 했다면 준수한 논문 한 편 정도라는 거죠. 그런데 문제는 이걸 기계가 했다는 것, 그리고 그 궤적이에요. 3년 전만 해도 이 모델들은 다항식 곱셈도 제대로 못 했거든요. 게다가 지금까지 'AI가 보안에서 뭔가를 해냈다'는 결과들은 전부 사람이 이미 하던 걸 더 빠르게 한 것이었는데, 이번에는 검토한 인간 전문가들이 그 전처리 트릭을 두고 '돌이켜봐도 자명하지 않다(not obvious in retrospect)'고 평가했다는 점이 달라요. 암호학자들이 무언가에 보내는 최고의 찬사가 바로 이 표현이거든요.

경제학도 바뀝니다. 6일짜리 에이전트 실행 한 번으로 논문급 개선이 나온다면, 자금력 있는 조직은 이런 걸 수천 개 병렬로 돌릴 수 있어요. '공격은 시간이 갈수록 좋아지기만 한다'는 암호학의 오랜 격언이 갑자기 훨씬 빠른 시계로 움직이게 된 거죠. 반대로 병목은 검증으로 옮겨가요. 모델이 후보 공격을 수천 개 쏟아내면, 그중 진짜를 골라 확인하는 건 여전히 사람 몫이니까요. Anthropic이 발표 전에 제출팀과 NIST에 미리 알린 책임 공개 절차는 모범적이었지만, 이 능력을 가진 모두가 그렇게 행동하리란 보장은 없다는 지적도 있어요.

한국 개발자에게는

당장 실무에서 뭘 바꿀 필요는 없어요. 보안 마진이라는 게 정확히 이런 상황을 위해 존재하는 거고, 실제 파라미터는 이번 개선을 반영해도 여유가 충분하거든요. 다만 보안이나 암호 관련 일을 하신다면 이 흐름은 계속 지켜볼 가치가 있어요. 취약점 연구의 비용 구조가 바뀌면 버그 바운티, 침투 테스트, 코드 감사 같은 분야에도 순차적으로 영향이 올 테니까요. 그린 교수가 젊은 암호학자들에게 남긴 조언도 인상적이에요. '이 도구들 쓰는 법을 배워라, 당신의 경쟁자들은 쓸 테니까.'

한 줄 정리: AI가 처음으로 전문가들도 '자명하지 않다'고 인정한 암호 해독 개선을 만들어냈지만, 실제 배포된 암호는 여전히 안전해요. 여러분은 어떻게 보세요? 취약점 연구가 이렇게 싸지면 결국 방어자와 공격자 중 누가 더 이득을 볼까요?