AI 봇을 사칭한 대규모 취약점 스캔 — 웹 트래픽의 정체를 다시 묻다

인터넷은 사람을 위해 설계된 공간에서 기계가 주로 오가는 공간으로 빠르게 옮겨가고 있다. 5,000곳이 넘는 웹사이트의 트래픽을 지속적으로 집계하는 Agentic Web Index의 분석은 이 변화를 구체적인 범주로 나눠 보여준다. AI 봇의 활동은 크게 네 갈래다. 학습 데이터를 긁어가는 스크래핑, AI 비서나 코딩 에이전트가 응답을 만들 때 실시간으로 문서를 가져오는 페칭, AI 검색엔진에 노출시키기 위한 색인 크롤링, 그리고 브라우저를 조종해 사람 대신 작업을 수행하는 자율 브라우징이다. 같은 '봇'이라도 목적과 부담이 다르기 때문에, 운영자 입장에서는 이 구분 자체가 대응의 출발점이 된다.

신원을 사칭하는 트래픽

이번 분석에서 실무자가 특히 주목할 대목은 사칭(spoofing) 통계다. Index는 어떤 방문이 ClaudeBot 같은 알려진 에이전트의 신원을 주장하면서도 그 에이전트가 지원하는 인증 방식을 통과하지 못할 때 이를 사칭으로 분류한다. 인증 방식이란 공개된 IP 대역 검증이나 Web Bot Auth 같은 HTTP 메시지 서명을 말한다. 즉 User-Agent 문자열에 유명 AI 봇의 이름을 박아 넣었더라도, 해당 사업자가 공표한 검증을 통과하지 못하면 실제 그 봇이 아닐 가능성이 크다는 뜻이다. 인증 수단을 공개하지 않은 에이전트는 애초에 이 측정 대상에서 빠진다.

중요한 것은 사칭 판정이 '이 요청이 진짜 그 봇이 아니다'를 시사할 뿐, 실제로 누가 그 요청을 보냈는지까지 밝혀주지는 않는다는 점이다. 다만 Index가 함께 제시하는 '최근 집중적으로 노출된 요청 경로' 사례는 이런 위장 트래픽의 성격을 짐작하게 한다. 정상적인 콘텐츠 소비라면 굳이 특정 취약 경로만 반복해서 두드릴 이유가 없다. AI 크롤러가 대체로 환영받는 분위기를 틈타, 스캐너가 우호적인 신원을 뒤집어쓰고 광범위한 탐색을 벌이는 정황으로 읽히는 이유다.

robots.txt는 얼마나 통하는가

Index는 robots.txt 차단 규칙의 실효성도 수치화한다. 특정 에이전트가 허용된 사이트들에서 기준 활동량을 잡고, 차단된 사이트에서 전체 트래픽 규모를 보정해 기대치를 구한 뒤 실제 관측치와 비교하는 방식이다. 점수는 0%(측정 가능한 감소 없음)에서 100%(차단된 곳에서 요청이 전혀 관측되지 않음)까지 매겨진다. 에이전트별로 순응도 편차가 크다는 사실 자체가 시사적이다. 다만 이는 통제된 실험이 아니라 관측 기반 추정이므로, robots.txt와의 상관관계를 보여줄 뿐 모든 차이가 규칙 때문이라고 단정하지는 않는다. 사칭 트래픽은 애초에 규칙을 지킬 의사가 없으니, robots.txt만으로 위장 스캔을 막을 수 없다는 점은 분명하다.

실무적 함의

방어 관점에서 얻을 결론은 두 가지다. 첫째, User-Agent 문자열은 신뢰의 근거가 되지 못한다. ClaudeBot이든 다른 AI 봇이든, 사업자가 공개한 IP 검증이나 서명 인증을 실제로 확인해야 진짜 여부를 가릴 수 있다. 검증되지 않은 자칭 AI 봇을 무조건 허용하는 규칙은 그대로 우회 통로가 된다. 둘째, 트래픽을 사람과 봇, 그리고 봇 안에서도 스크래핑·페칭·색인·브라우징으로 세분해 봐야 대응이 정교해진다. 같은 이름을 달고 오더라도 콘텐츠를 학습용으로 긁는 트래픽과 취약 경로를 훑는 트래픽은 성격이 전혀 다르기 때문이다.

동시에 AI 봇을 전면 차단하는 것이 능사가 아니라는 점도 함께 봐야 한다. Index는 ChatGPT, Perplexity, Gemini 같은 AI 챗 플랫폼이 웹사이트를 인용하고 사람 방문자를 되돌려 보내는 참조 트래픽도 추적한다. AI 검색에 노출되기 위한 색인 크롤링을 무조건 막으면 이 유입 경로까지 함께 닫힐 수 있다. 결국 실무의 과제는 정당한 AI 접근은 인증 기반으로 열어두면서 사칭·스캔 트래픽만 걸러내는, 신원 검증에 근거한 차등 정책을 세우는 일이다.

마지막으로 이 데이터의 한계도 분명히 해둘 필요가 있다. 참여 웹사이트는 무작위 표본이 아니라 특정 분석 도구를 쓰는 집단이며, 사이트가 연결되고 끊길 때마다 대상군이 바뀐다. 인용 통계는 콘텐츠 조회 요청에서 추정한 값이라 실제 사용자에게 출처로 표시됐는지까지는 확인하지 못한다. 따라서 이 지표들은 전 세계 웹의 정밀한 인구조사가 아니라 관측된 네트워크의 방향성으로 읽어야 한다. 그럼에도 '자칭 AI 봇을 그대로 믿지 말라'는 교훈만큼은, 표본의 한계와 무관하게 지금 당장 로그를 들여다볼 이유가 된다.