AI가 불러온 '공유지의 비극', 오픈 웹이 말라가고 있어요

목초지에 소를 너무 많이 풀어놓으면 생기는 일

경제학에 '공유지의 비극(Tragedy of the Commons)'이라는 유명한 개념이 있는데요. 이게 뭐냐면, 마을 사람들이 공동으로 쓰는 목초지를 상상해 보시면 돼요. 각자 자기 소를 한 마리라도 더 풀어놓는 게 개인에게는 이득이거든요. 풀은 공짜니까요. 그런데 모두가 그렇게 행동하면 풀이 자라는 속도보다 뜯어먹는 속도가 빨라지고, 결국 목초지 자체가 황폐해져서 모두가 손해를 보게 됩니다. 개인의 합리적인 선택이 모여서 공동체 전체의 파국을 만드는 구조죠.

이코노미스트가 이 오래된 개념을 AI 시대에 다시 꺼내 들었어요. 지금 웹에서 벌어지는 일이 정확히 이 구조라는 건데요. 여기서 목초지는 '오픈 웹'이고, 소를 풀어놓는 쪽은 AI 회사들이에요.

검색엔진 시절에는 괜찮았는데 왜 지금은 문제일까요

사실 웹을 긁어가는 크롤러는 예전부터 있었어요. 구글 같은 검색엔진이 대표적이죠. 그런데 그때는 일종의 암묵적인 거래가 성립했거든요. 사이트 운영자가 크롤링을 허용해 주는 대신, 검색 결과에 노출되면서 방문자를 받는 보상이 있었어요. 트래픽이 오면 광고 수익도 생기고 구독자도 늘고요. 크롤러가 풀을 뜯어가긴 하지만 물도 주고 가는 셈이었죠.

그런데 AI 챗봇은 이 거래를 깨버렸어요. AI는 웹에서 긁어간 내용을 학습하거나 실시간으로 참고해서 사용자에게 '답을 직접' 줘버리거든요. 사용자 입장에서는 원본 사이트에 갈 이유가 없어지는 거예요. 콘텐츠를 만든 사람은 서버 비용과 크롤링 트래픽 부담만 떠안고, 보상은 받지 못하는 구조가 된 거죠. 실제로 위키백과는 AI 크롤러 때문에 대역폭 비용이 크게 늘었다고 밝힌 적이 있고, 스택오버플로처럼 개발자들이 매일 드나들던 사이트들의 방문자가 눈에 띄게 줄었다는 이야기도 계속 나오고 있어요.

그래서 지금 무슨 일이 벌어지고 있냐면

콘텐츠를 만드는 쪽도 가만히 있지는 않아요. robots.txt로 AI 크롤러를 차단하는 사이트가 급격히 늘고 있고요. 참고로 robots.txt는 "우리 사이트는 긁어가지 마세요"라고 적어두는 일종의 안내문인데, 법적 강제력이 없는 신사협정에 가까워요. 그래서 이걸 무시하는 크롤러도 있다 보니, 클라우드플레어 같은 인프라 회사는 아예 네트워크 차원에서 AI 봇을 차단하거나, 크롤링할 때마다 돈을 내게 하는 유료 크롤링 모델까지 내놓았어요. 언론사들은 AI 회사와 콘텐츠 라이선스 계약을 맺거나, 아니면 소송을 걸거나 둘 중 하나를 선택하고 있고요.

문제는 이런 대응이 각자에게는 합리적이면서도, 공유지를 더 빠르게 닫아버린다는 거예요. 누구나 자유롭게 읽고 링크하던 오픈 웹이 페이월과 로그인 장벽 뒤로 숨어버리면, 그 피해는 결국 모두에게 돌아가거든요. 재미있는 건 AI 회사들도 장기적으로는 피해자가 된다는 점이에요. 웹에 새로운 양질의 콘텐츠가 올라오지 않으면 학습할 데이터도 말라버리니까요. 목초지가 사라지면 소도 굶는 거죠.

한국 개발자에게는 어떤 의미일까요

당장 개인 블로그나 서비스를 운영하고 계시다면, 서버 로그에서 AI 크롤러 트래픽을 한번 확인해 보세요. 생각보다 봇 트래픽 비중이 커서 놀라는 경우가 많거든요. 차단할지, 허용할지, 조건부로 열어줄지는 각자의 선택이지만, 최소한 내 콘텐츠가 어떻게 소비되는지는 알고 결정하는 게 좋아요. 그리고 기술 블로그나 오픈소스 문서를 쓰는 분이라면, 앞으로 '사람이 읽는 웹'과 'AI가 읽는 웹'이 나뉘는 흐름 속에서 내 글이 어디에 어떻게 노출되길 원하는지 고민해 볼 시점이기도 해요.

정리하면, AI는 오픈 웹이라는 공유지에서 자랐는데 정작 그 공유지를 말려 죽이고 있는 역설적인 상황이라는 거예요. 여러분은 어떻게 생각하세요? AI 크롤러에게 크롤링 비용을 물리는 게 해법일까요, 아니면 검색엔진 시절처럼 새로운 상생 모델이 나올 수 있을까요?