이번 주에 재미있는 일이 있었습니다. 저희가 운영하는 두 사이트에서 크롤러에 대해 정반대의 결정을 내렸습니다. 이 블로그가 있는 이지스파크 EasySpark 사이트는 robots.txt에서 GPTBot, ClaudeBot 같은 AI 크롤러를 전부 허용해두고 있습니다. 그런데 저희가 운영하던 다른 계산기 사이트에서는, 그 크롤러들 때문에 서버 비용이 새는 걸 발견하고 오히려 막았습니다.
모순처럼 보이실 수 있는데, 사실은 그렇지 않습니다. 크롤러는 하나가 아니라 최소 세 종류로 나뉘고, 사이트마다 원하는 게 다르면 판단도 달라지는 게 정상입니다. 이 글에서 그 세 종류를 정리하고, 다음 두 글에서 각각을 더 깊게 다루겠습니다.
30초 요약
- •검색 크롤러(Googlebot, Bingbot)는 무조건 허용해야 합니다. 막으면 검색 결과에서 사라지는, 선택의 여지가 없는 문제입니다.
- •AI 크롤러는 다시 두 갈래로 나뉩니다. 학습용과 인용용은 목적이 완전히 다릅니다.
- •학습용 크롤러(GPTBot, ClaudeBot, CCBot, Google-Extended)는 모델 학습에 쓰이고 트래픽을 돌려주지 않습니다.
- •인용용 크롤러(OAI-SearchBot, PerplexityBot, ChatGPT-User)는 AI가 답변할 때 출처로 링크를 걸어 실제 유입을 만듭니다.
- •막을지 열지는 정답이 없고, 우리 사이트가 무엇을 원하는지에 따라 달라집니다.
크롤러를 하나로 뭉뚱그리면 안 되는 이유
robots.txt나 미들웨어에서 봇을 관리하실 때, 흔히 "검색엔진은 열고 나머지는 막는다" 또는 "AI는 다 막는다" 처럼 단순하게 접근하시는 경우가 많습니다. 그런데 이렇게 하면 두 가지 실수 중 하나를 하게 됩니다. AI 크롤러를 전부 막으면 ChatGPT나 퍼플렉시티가 답변할 때 우리 사이트를 아예 인용할 수 없게 되고, 반대로 전부 열면 우리 콘텐츠가 모델 학습에만 쓰이고 정작 트래픽은 하나도 안 돌아오는 상황이 생길 수 있습니다.
이 문제를 풀려면 먼저 크롤러를 목적에 따라 나눠야 합니다. 저희가 실제로 쓰는 분류는 이렇습니다.
① 검색 크롤러, 무조건 허용
Googlebot과 Bingbot입니다. 이건 선택의 문제가 아닙니다. 이 크롤러를 막으면 네이버를 제외한 검색 결과 전반에서 사이트가 사라집니다. 최근 몇 년 사이 사업을 시작하신 분들도 이건 이미 상식으로 알고 계실 겁니다. 문제는 그다음, AI 크롤러부터입니다.
② AI 크롤러, 두 갈래로 갈립니다
학습용: 모델을 훈련시키는 크롤러
GPTBot, ClaudeBot, CCBot, Google-Extended 같은 크롤러입니다. 이 크롤러들은 콘텐츠를 가져가 모델을 훈련하는 데 씁니다. 사이트에 트래픽을 돌려주는 구조가 아닙니다. 이 크롤러들만 따로 떼어서 자세히 다룬 글은 다음 글에 정리했습니다.
인용용: 답변에 출처로 걸리는 크롤러
OAI-SearchBot, PerplexityBot, ChatGPT-User가 여기 속합니다. 사용자가 실시간으로 질문을 던지면 이 크롤러들이 그 순간 웹을 검색하고, 답변에 출처 링크를 겁니다. 사용자가 그 링크를 누르면 실제 방문으로 이어집니다. 이쪽은 이 글에서 더 자세히 다룹니다.
학습용 크롤러를 막는다고 AI 검색 노출이 사라지지 않고, 인용용 크롤러를 막으면 노출 자체가 불가능해집니다. 이 둘을 구분하는 순간부터 판단이 쉬워집니다.
그래서 우리는 뭘 열고 뭘 막아야 할까요
정답은 사이트의 목적에 달려 있습니다. 저희 이지스파크 EasySpark 블로그처럼 콘텐츠로 브랜드를 알리고 AI 답변에 인용되는 게 목적인 사이트라면, 학습용까지 포함해 전부 열어두는 편이 유리합니다. 학습 데이터에 자주 등장하는 브랜드일수록 장기적으로 AI가 먼저 떠올릴 확률이 올라간다는 게 저희 판단입니다. 반면 광고 수익이 핵심이고 콘텐츠 자체의 노출보다 서버 비용 관리가 더 중요한 사이트라면, 학습용 크롤러만 선별해서 막는 것도 합리적인 선택입니다. 실제로 저희가 운영하는 계산기 사이트에서 그렇게 판단했습니다.
다만 인용용 크롤러는 어느 쪽이든 막지 않으시길 권합니다. 이건 이미 만들어진 트래픽 유입 통로를 스스로 닫는 것과 같습니다.
정확한 진단이 필요하시다면
지금 우리 사이트의 robots.txt가 어떤 크롤러를 막고 있는지, AEO/GEO 전략상 맞는 설정인지 무료로 확인해 드립니다. 무료 상담 신청하기.
함께 읽으면 좋은 글
- •GPTBot, ClaudeBot, CCBot, 학습용 크롤러 막아야 할까요?
- •OAI-SearchBot, PerplexityBot, 이 크롤러는 막으면 안 됩니다
- •AEO와 GEO, 무엇이 다른가요?
- •ChatGPT, Perplexity가 당신 사이트를 인용하게 만드는 5가지 조건
robots.txt 설정, 지금 상태 그대로 무료로 진단해 드립니다.
이 글은 EasySpark 허수진 대표의 실무 내용이며, 크롤러 정책은 각 AI 서비스가 계속 바꾸고 있어 최신 정보는 공식 문서에서 확인해 주시길 권합니다. 우리 사이트에 맞는 크롤러 설정이 궁금하시다면 편하게 상담 신청해 주세요.
