지난 글에서 크롤러를 검색용, AI 학습용, AI 인용용 세 갈래로 나눴습니다. 이번 글은 그중 학습용 크롤러만 떼어서 자세히 다룹니다. 분류가 궁금하시면 이전 글을 먼저 보고 오셔도 좋습니다.
결론부터 말씀드리면, 학습용 크롤러를 막는다고 AI 검색 노출이 사라지지 않습니다. 다만 막을지 열지는 사이트의 목적에 따라 완전히 다른 답이 나옵니다. 저희가 실제로 운영하는 두 사이트에서 정반대로 결정한 이유를 그대로 풀어드리겠습니다.
30초 요약
- •GPTBot, ClaudeBot, CCBot, Google-Extended는 모두 모델 학습에 콘텐츠를 쓰는 크롤러입니다.
- •이 크롤러들은 트래픽을 돌려주지 않습니다. 사이트를 읽어가기만 합니다.
- •막아도 ChatGPT나 퍼플렉시티의 실시간 답변 인용에는 영향이 없습니다. 완전히 다른 크롤러가 그 역할을 하기 때문입니다.
- •콘텐츠 마케팅이 핵심이면 열어두고, 서버 비용이나 콘텐츠 보호가 우선이면 막아도 됩니다.
- •저희는 이 블로그는 열어두고, 다른 계산기 사이트는 막았습니다. 목적이 달랐기 때문입니다.
학습용 크롤러, 하나씩 짚어보겠습니다
GPTBot
OpenAI가 운영하는 크롤러로, 웹 콘텐츠를 가져가 GPT 계열 모델을 학습시키는 데 씁니다. ChatGPT가 실시간으로 웹을 검색해서 답변하는 것과는 별개의 크롤러입니다. 그 역할은 뒤에 다룰 OAI-SearchBot이 따로 맡고 있습니다.
ClaudeBot
Anthropic이 운영하는 크롤러로, Claude 모델 학습을 위해 콘텐츠를 수집합니다. 저희가 이번 주 다른 사이트 점검 중에 확인했는데, 2026년 이전 봇 차단 목록에는 없던 크롤러라 놓치고 계신 분들이 꽤 있을 것 같습니다.
CCBot
Common Crawl이 운영하는 크롤러입니다. 이 하나가 조금 특별한 게, 특정 회사의 모델 하나만을 위한 게 아니라 여러 AI 회사가 공용으로 가져다 쓰는 대규모 웹 데이터셋을 만듭니다. 이 크롤러를 막으면 여러 모델의 학습 데이터에서 동시에 빠지는 효과가 있습니다.
Google-Extended
구글의 제미나이(Gemini)와 바드 계열 모델 학습을 위한 옵트아웃 스위치입니다. 일반 Googlebot과는 별개라서, 이걸 막아도 구글 검색 순위에는 영향을 주지 않습니다. 검색 노출과 AI 학습 데이터 제공을 분리해서 결정할 수 있다는 뜻입니다.
네 크롤러 모두 공통점이 있습니다. 콘텐츠를 가져가지만, 그 대가로 트래픽을 돌려주는 구조가 아니라는 점입니다.
막아도 AI 검색 노출은 그대로입니다
여기서 가장 많이 오해하시는 지점이 있습니다. "GPTBot을 막으면 ChatGPT가 우리 사이트를 답변에서 인용 안 하는 거 아닌가요?" 라는 질문입니다. 아닙니다. ChatGPT가 실시간으로 웹을 검색해서 답변에 출처를 다는 건 GPTBot이 아니라 OAI-SearchBot이라는 완전히 다른 크롤러의 역할입니다. 이 크롤러는 학습용이 아니라 인용용이라, 다음 글에서 따로 다룹니다. 이 둘을 같은 크롤러로 착각하고 GPTBot을 막으면서 "AI 검색 노출도 같이 막힌다"고 오해하시는 경우가 실제로 많습니다.
우리는 왜 정반대로 결정했나
이지스파크 EasySpark 블로그는 robots.txt에서 이 네 크롤러를 전부 허용해두고 있습니다. 저희 콘텐츠가 여러 AI 모델의 학습 데이터에 등장할수록, 장기적으로 관련 질문에 저희 브랜드가 먼저 떠오를 확률이 올라간다고 판단하기 때문입니다. 콘텐츠 마케팅과 AEO가 핵심 전략인 사이트에는 이 방향이 맞습니다.
반대로 저희가 운영하는 계산기 사이트는 광고 수익이 핵심이고, 콘텐츠 자체가 브랜드 자산이라기보다는 실용적인 도구에 가깝습니다. 게다가 최근 서버 비용을 점검하다가 이 학습용 크롤러들이 트래픽을 하나도 안 돌려주면서 서버 자원만 소모하고 있다는 걸 확인하고, 이 넷만 선별해서 막았습니다. 인용용 크롤러는 그대로 열어뒀습니다. 그쪽은 실제로 방문자를 데려오니까요.
우리 사이트는 어느 쪽이 맞을까요
판단 기준은 간단합니다. 콘텐츠 자체가 브랜드 자산이고, AI가 우리를 언급해주는 게 장기적으로 이득이라면 여는 게 맞습니다. 반대로 콘텐츠는 부수적이고, 서버 비용이나 콘텐츠 원본성 보호가 더 중요하다면 막아도 무방합니다. robots.txt를 어떻게 짜야 할지는 llms.txt 활용법 글에서도 관련 내용을 다뤘습니다.
우리 사이트에 맞는 설정이 궁금하시다면
지금 robots.txt가 어떻게 되어 있는지, 우리 비즈니스 목적에 맞는지 무료로 확인해 드립니다. 무료 상담 신청하기.
함께 읽으면 좋은 글
- •크롤러도 구분해야 합니다, 검색봇과 AI 학습봇과 AI 인용봇의 차이
- •OAI-SearchBot, PerplexityBot, 이 크롤러는 막으면 안 됩니다
- •프레이머에 llms.txt 올리기, AI 검색을 위한 정적 파일 활용법
우리 사이트 robots.txt, 목적에 맞게 설정돼 있는지 무료로 확인해 드립니다.
이 글은 EasySpark 허수진 대표의 실무 내용이며, 각 크롤러의 정책과 이름은 AI 서비스가 계속 바꾸고 있어 최신 정보는 공식 문서에서 확인해 주시길 권합니다. 우리 사이트에 맞는 크롤러 설정이 궁금하시다면 편하게 상담 신청해 주세요.
