앞의 두 글에서 크롤러를 세 갈래로 나누고, 그중 학습용 크롤러(GPTBot, ClaudeBot, CCBot, Google-Extended)를 다뤘습니다. 이번 글은 나머지 한 갈래, 인용용 크롤러입니다. 결론부터 말씀드리면 이건 막으시면 안 됩니다. 왜인지, 그리고 실제로 어떻게 트래픽이 만들어지는지 저희 사례로 설명드리겠습니다.
30초 요약
- •OAI-SearchBot, PerplexityBot, ChatGPT-User는 사용자가 실시간으로 질문할 때 웹을 검색하는 크롤러입니다.
- •학습용 크롤러와 달리, 답변에 출처 링크를 걸어 실제 방문으로 이어집니다.
- •이 크롤러를 막으면 AI 답변에서 아예 인용될 수 없게 됩니다. 검색엔진에서 사라지는 것과 같은 급의 손해입니다.
- •저희는 이 블로그의 robots.txt에서 이 크롤러들을 전부 허용해두고, 실제로 유입되는 트래픽을 자체 시스템으로 추적하고 있습니다.
- •AI 검색에서 오는 트래픽은 이미 무시할 수 없는 규모로 커지고 있습니다.
이 크롤러들, 실제로 어떻게 움직이나요
OAI-SearchBot
ChatGPT의 검색 기능 전용 크롤러입니다. 사용자가 ChatGPT에 최신 정보나 특정 주제를 물어보면, 이 크롤러가 그 순간 관련 웹페이지를 찾아 답변에 반영하고 출처 링크를 붙입니다. GPTBot과 이름이 비슷해서 헷갈리기 쉬운데, 완전히 다른 크롤러입니다. GPTBot은 학습용, OAI-SearchBot은 실시간 검색용입니다.
PerplexityBot
퍼플렉시티가 실시간 답변을 만들 때 쓰는 크롤러입니다. 퍼플렉시티는 답변 방식 자체가 "출처를 명시하며 요약"하는 구조라, 이 크롤러가 가져간 콘텐츠는 거의 항상 답변 하단에 출처 링크로 노출됩니다.
ChatGPT-User
사용자가 ChatGPT 안에서 특정 웹사이트를 직접 열어보라고 요청했을 때 동작하는 크롤러입니다. 실제 사람의 요청에 의해 그 순간 발생하는 방문이라, 가장 사람 트래픽에 가까운 크롤러이기도 합니다.
이 세 크롤러의 공통점은, 콘텐츠를 가져간 대가로 반드시 링크를 남긴다는 점입니다. 막는다는 건 이 링크 자체를 스스로 지우는 것과 같습니다.
막으면 검색엔진에서 사라지는 것과 같은 손해
가끔 "AI 크롤러는 다 막고 싶다"는 요청을 받습니다. 학습용 크롤러까지는 사이트 성격에 따라 판단이 갈릴 수 있지만, 이 세 크롤러까지 함께 막으시면 이야기가 달라집니다. ChatGPT나 퍼플렉시티에서 관련 질문이 나왔을 때 우리 사이트가 원천적으로 후보에 오르지 못합니다. 구글 검색에서 사이트를 빼는 것과 같은 급의 결정입니다. 실제로 어떤 조건이 인용으로 이어지는지는 이 글에서 다뤘습니다.
저희는 이렇게 하고 있습니다
이지스파크 EasySpark 사이트의 robots.txt를 보시면, OAI-SearchBot과 PerplexityBot, ChatGPT-User를 포함해 인용용 크롤러를 전부 허용으로 설정해뒀습니다. 그리고 여기서 그치지 않고, AI 플랫폼에서 실제로 얼마나 방문이 들어오는지 자체적으로 추적하는 시스템을 만들어 쓰고 있습니다. 어느 플랫폼에서, 어떤 페이지로 들어오는지를 쌓아두면, 크롤러를 열어둔 게 실제로 트래픽으로 이어지는지 감으로 판단하지 않고 숫자로 확인할 수 있습니다.
일반적인 구글 애널리틱스로는 이런 유입이 "직접 방문"이나 "추천 없음"으로 뭉뚱그려 잡히는 경우가 많아서, AI 검색 유입을 제대로 보려면 이렇게 별도로 잡아야 하는 경우가 많습니다. 홈페이지 문장 하나가 이 노출 여부를 가른다는 이야기는 이 글에서 더 자세히 다뤘습니다.
세 글을 정리하면
검색 크롤러는 무조건 열고, AI 학습용 크롤러는 우리 사이트의 목적에 따라 선택하고, AI 인용용 크롤러는 무조건 열어야 한다는 게 이번 세 편의 결론입니다. 판단이 헷갈리시는 부분은 첫 번째 글부터 다시 보시면 순서대로 정리됩니다.
우리 사이트가 실제로 인용되고 있는지 궁금하시다면
robots.txt 설정부터 실제 AI 검색에서 얼마나 노출되고 있는지까지, 무료로 진단해 드립니다. 무료 상담 신청하기.
함께 읽으면 좋은 글
- •크롤러도 구분해야 합니다, 검색봇과 AI 학습봇과 AI 인용봇의 차이
- •GPTBot, ClaudeBot, CCBot, 학습용 크롤러 막아야 할까요?
- •ChatGPT, Perplexity가 당신 사이트를 인용하게 만드는 5가지 조건
- •홈페이지 문장 하나가 AI 노출을 결정한다
우리 사이트가 AI 검색에 얼마나 노출되고 있는지 무료로 확인해 드립니다.
이 글은 EasySpark 허수진 대표의 실무 내용이며, 각 크롤러의 동작 방식은 AI 서비스가 계속 바꾸고 있어 최신 정보는 공식 문서에서 확인해 주시길 권합니다. 우리 사이트의 AI 검색 노출이 궁금하시다면 편하게 상담 신청해 주세요.
