계산 실수하는 AI는 그만 — 수학 문제를 코드로 푸는 에이전트 MathCode

'9.11과 9.9 중에 뭐가 더 커?'라는 질문에 LLM이 틀리게 답하는 밈, 다들 한 번쯤 보셨을 거예요. 글은 그럴듯하게 잘 쓰는 AI가 이상하게 산수에서는 자주 미끄러지거든요. 이 약점을 정면으로 공략하는 접근이 바로 '수학 문제를 코드로 푸는' 방식인데요. 수학 AI를 연구하는 math-ai 그룹에서 이 접근을 에이전트 형태로 구현한 MathCode를 공개했어요.

에이전트가 뭐냐면요

요즘 여기저기서 들리는 '에이전트'라는 말부터 짚고 갈게요. 이게 뭐냐면, 질문에 한 번 답하고 끝나는 챗봇과 달리, 목표를 받으면 스스로 계획을 세우고 도구를 써가며 여러 단계를 밟아 문제를 해결하는 AI를 말해요. 사람으로 치면 '답을 외운 사람'이 아니라 '풀이 과정을 직접 수행하는 사람'에 가까운 거죠.

어떻게 동작하냐면요

MathCode 같은 수학 코딩 에이전트의 핵심 아이디어는 역할 분담이에요. LLM은 '이 문제는 이런 전략으로 접근하자'는 추론을 자연어로 하고, 실제 계산이 필요한 순간에는 Python 코드를 작성해요. 방정식을 풀 땐 SymPy 같은 수학 라이브러리를 쓰고, 수치 계산은 NumPy로 하는 식이죠. 그리고 그 코드를 실제로 실행해서 나온 결과를 다시 받아서 다음 추론에 활용해요. 이렇게 '자연어 추론 → 코드 작성 → 실행 → 결과 확인'을 반복하는 방식을 도구 통합 추론(tool-integrated reasoning)이라고 부르는데요. 실행 결과가 이상하면 코드를 고쳐서 다시 시도하는 자기 검증 루프까지 돌 수 있다는 게 에이전트 방식의 강점이에요.

왜 이 방식이 강력하냐면요

LLM은 근본적으로 '다음에 올 단어를 예측하는' 모델이에요. 그래서 723 곱하기 481 같은 계산을 글자 패턴으로 흉내 내다 보면 틀리기 쉬워요. 반면 파이썬 인터프리터는 같은 계산을 백만 번 시켜도 정확하게 같은 답을 주죠. 그러니까 '전략은 LLM이, 계산은 컴퓨터가' 맡도록 나누는 게 각자 잘하는 걸 시키는 최적의 분업인 거예요. 우리가 복잡한 계산을 암산으로 하지 않고 계산기를 쓰는 것과 똑같은 이치거든요.

업계 흐름에서 보면요

이 접근에는 계보가 있어요. MathCoder, ToRA 같은 연구들이 '코드 실행을 섞으면 수학 성능이 크게 뛴다'는 걸 이미 보여줬고, ChatGPT의 코드 인터프리터도 같은 철학을 제품으로 만든 거였죠. 한편 완전히 다른 노선도 있는데요. 구글 딥마인드의 AlphaProof처럼 Lean이라는 형식 증명 언어로 수학적 논리 자체를 기계로 검증하는 접근이에요. 코드 실행 방식은 빠르고 실용적이지만 '계산이 맞다'까지만 보장하고, 형식 증명 방식은 느리고 어렵지만 '논리 전체가 맞다'를 보장해요. 최근 AI 업계가 AIME 같은 수학 경시대회 문제로 성능 경쟁을 벌이면서, 이 두 노선이 모두 빠르게 발전하고 있어요.

한국 개발자에게 주는 시사점

MathCode 자체를 쓸 일이 없더라도, 이 패턴은 실무에 바로 가져올 가치가 있어요. 핵심 교훈은 이거예요. LLM에게 계산을 직접 시키지 말고, 계산하는 코드를 짜게 하세요. 금융 서비스의 이자 계산, 데이터 분석의 통계 처리, 커머스의 정산 로직 같은 걸 LLM의 텍스트 답변에 그대로 맡기면 언젠가 사고가 나요. 대신 LLM이 코드를 생성하고, 그걸 격리된 샌드박스에서 실행해서 결과를 쓰는 구조로 만들면 정확성이 확 올라가요. 요즘 주요 LLM API가 지원하는 함수 호출(function calling)이나 코드 실행 도구가 바로 이 구조를 만들기 위한 부품이고요.

정리하면, MathCode는 'LLM의 추론력과 코드의 정확성을 결합하면 수학도 정복할 수 있다'는 흐름을 보여주는 프로젝트예요. 여러분의 서비스에서 LLM의 계산 실수 때문에 곤란했던 적 있으신가요? 있다면 어떤 방식으로 해결하셨는지 궁금하네요.