**TL;DR** — robots.txt에서 **GPTBot · Google-Extended · ClaudeBot · PerplexityBot · Yeti**를 명시적으로 차단하지 않으면 자동 허용됩니다. 차단된 봇이 1개라도 있으면 GEO 점수에 직접 반영되니, 배포 전 robots.txt 한 줄씩 검토하세요.
관련: AEO란 무엇인가 · SEO·AEO·GEO 차이 · GEO 최적화 완전 가이드
robots.txt AI 크롤러 허용이 필요한 이유
robots.txt AI 크롤러 허용은 GEO 최적화의 가장 기본적인 출발점입니다. ChatGPT·Google SGE·Perplexity 같은 AI 서비스는 각자 별도의 크롤러로 웹을 수집하는데, 대표적인 봇은 GPTBot(OpenAI), Google-Extended(Google AI), ClaudeBot(Anthropic), PerplexityBot(Perplexity), Yeti(네이버), Bingbot(Microsoft Copilot)입니다. 이들 봇이 robots.txt에서 차단돼 있으면 AI 답변에 인용될 가능성 자체가 사라집니다. 공식 봇 식별자 목록은 OpenAI GPTBot 문서와 Google Crawlers 공식 문서에서 확인할 수 있습니다.
robots.txt 설정 방법
AI 크롤러의 접근을 허용하려면 robots.txt에서 해당 봇을 차단하지 않아야 합니다.
허용 설정
모든 AI 크롤러를 허용하려면 별도의 차단 규칙을 추가하지 않으면 됩니다.
선택적 허용
특정 AI 크롤러만 허용하고 나머지는 차단할 수도 있습니다.
GEO 점수에 미치는 영향
AI 크롤러 접근을 차단하면 GEO 점수가 크게 하락합니다. SearchTune OS에서는 AI 크롤러 접근성을 GEO 평가의 핵심 항목으로 포함하고 있습니다.
주의사항
- 민감한 콘텐츠(개인정보, 유료 콘텐츠)에 대해서는 신중하게 접근 제어
- AI 크롤러 허용이 곧 콘텐츠 무단 사용을 의미하지는 않음
- 정기적으로 크롤링 로그를 확인하여 비정상적 접근 모니터링