robots.txt 생성기
앞의 세 가지는 기존 그룹을 바꿉니다. AI 버튼은 널리 공개된 AI 크롤러 이름으로 그룹 하나를 추가하고 나머지는 그대로 둡니다. 이름은 바뀔 수 있으니 가끔 확인하세요.
기존 robots.txt 가져오기
*는 모든 크롤러를 뜻합니다. 여러 이름을 쉼표로 구분하면 같은 규칙이 적용됩니다.
경로는 /로 시작하고 대소문자를 구분합니다. *는 아무 문자열, $는 URL의 끝을 뜻하므로 /*.pdf$는 모든 PDF를 차단합니다. Crawl-delay(요청 사이 초)는 Google이 무시하지만 일부 다른 검색엔진은 따릅니다.
문제가 없습니다.
robots.txt라는 이름으로 호스트의 루트에 올리세요(예: https://example.com/robots.txt). 하위 도메인마다 따로 파일이 필요합니다.
URL 테스트
위의 robots.txt를 Google이 읽는 방식대로 확인합니다. 크롤러 이름이 정확히 일치하는 그룹이 User-agent: *보다 우선하고, 이름이 같은 그룹은 합쳐집니다. 자기 그룹이 없는 크롤러는 비슷한 이름이 아니라 *를 따릅니다(Googlebot-Image는 Googlebot 그룹을 쓰지 않습니다). 그룹 안에서는 일치하는 규칙 중 가장 긴 것이 결정하며, 길이가 같으면 Allow가 이깁니다. 전체 URL을 넣으면 경로와 쿼리만 사용합니다.
robots.txt는 자물쇠가 아니라 공개된 요청입니다. 누구나 읽을 수 있고 불량 봇은 무시하므로 비밀 경로를 절대 적지 마세요. 검색 결과에서 페이지를 없애 주지도 않습니다. 차단한 URL도 링크를 통해 색인될 수 있습니다. 검색에서 빼려면 noindex 태그를 쓰고 페이지는 크롤링 가능하게 두세요. 보호가 필요하면 비밀번호를 쓰세요.
robots.txt의 작동 방식
규칙을 지키는 봇은 사이트를 크롤링하기 전에 /robots.txt를 받아 자기 이름과 맞는 그룹을 찾고, 없으면 User-agent: *를 따릅니다. 그룹 안에서 Disallow는 건너뛸 경로를, Allow는 그 안의 예외를 지정합니다. 이 파일은 색인이 아니라 크롤링을 제어하며, 따르기로 한 봇에게만 효력이 있습니다.
사용 방법
- 1 템플릿을 고르거나 예시를 수정하세요. 크롤러마다(전체는 *) 그룹 하나를 두고 Disallow와 Allow 줄을 씁니다.
- 2 사이트맵 주소를 넣고 점검 결과를 확인하세요. 앞에 슬래시가 없는 경로나 https://가 없는 사이트맵은 바로 표시됩니다.
- 3 텍스트를 복사하거나 robots.txt를 내려받아 사이트 루트에 올린 뒤, 내사이트/robots.txt를 열어 잘 보이는지 확인하세요.
어떤 규칙이 우선하나
주요 검색엔진은 규칙을 위에서 아래로 읽지 않습니다. URL마다 가장 구체적인 일치, 즉 가장 긴 경로를 따르고, 길이가 같은 Allow와 Disallow가 있으면 Allow가 이깁니다. 그래서 Disallow: /admin/과 Allow: /admin/help/를 함께 쓰면 순서와 상관없이 도움말 페이지는 크롤링됩니다. 또한 크롤러는 한 그룹만 따릅니다. Googlebot 그룹이 있으면 Googlebot은 * 그룹을 완전히 무시합니다.
차단과 noindex는 다릅니다
robots.txt로 차단한 URL도 다른 페이지가 링크하면 검색 결과에 나올 수 있습니다. 보통 설명 없는 링크만 보입니다. 더 나쁜 경우, 페이지에 noindex 태그를 달고 동시에 차단하면 크롤러가 페이지를 가져오지 않아 태그를 영영 보지 못합니다. 검색에서 빼려면 크롤링을 허용하고 noindex를 쓰세요. 차단은 결과에서 사라진 다음에 하세요.
의도보다 많이 막는 실수
규칙은 접두사로 동작합니다. Disallow: /blog는 /blog-tips/와 /blogger.html도 막으니 폴더를 뜻한다면 /blog/로 쓰세요. Disallow: / 하나만 있으면 사이트 전체가 막히는데, 테스트 서버에서 넘어온 전형적인 실수입니다. CSS와 JavaScript 폴더를 막으면 검색엔진이 페이지를 제대로 렌더링하지 못합니다. 경로는 대소문자도 구분해서 /Admin/은 /admin/을 포함하지 않습니다. 특정 URL이 어떻게 처리되는지 보려면 결과 아래의 테스트 칸에 입력하세요. 결정한 그룹과 규칙을 알려 줍니다.
AI 크롤러와 제어용 토큰
여러 AI 기업이 학습 데이터 수집에 쓰는 User-agent 이름을 공개하고, 거부하는 방법으로 robots.txt를 안내합니다. 일부 이름은 별도 크롤러가 아니라 제어용 토큰입니다. Google-Extended와 Applebot-Extended는 페이지를 직접 가져가지 않고, 검색 크롤러가 이미 수집한 콘텐츠를 AI 모델 학습(Google은 Gemini 답변의 출처로 쓰는 것 포함)에 써도 되는지만 정합니다. 차단해도 검색 순위에는 영향이 없지만, 검색 안의 AI 기능에서 빠지는 것도 아닙니다. Google의 AI Overviews와 AI Mode는 Googlebot으로 동작하며 Google-Extended가 아니라 nosnippet이나 noindex로 제어합니다. 이름은 바뀌고 새로 생기기도 하니 템플릿은 출발점으로 삼고 각 업체의 최신 문서를 확인하세요.