robots.txt 생성기 - Allow, Disallow, Sitemap 규칙 만들기

도구 / SEO 도구 / robots.txt 생성기

robots.txt 생성기

템플릿

앞의 세 가지는 기존 그룹을 바꿉니다. AI 버튼은 널리 공개된 AI 크롤러 이름으로 그룹 하나를 추가하고 나머지는 그대로 둡니다. 이름은 바뀔 수 있으니 가끔 확인하세요.

기존 robots.txt 가져오기

경로는 /로 시작하고 대소문자를 구분합니다. *는 아무 문자열, $는 URL의 끝을 뜻하므로 /*.pdf$는 모든 PDF를 차단합니다. Crawl-delay(요청 사이 초)는 Google이 무시하지만 일부 다른 검색엔진은 따릅니다.

점검

문제가 없습니다.

robots.txt

            

robots.txt라는 이름으로 호스트의 루트에 올리세요(예: https://example.com/robots.txt). 하위 도메인마다 따로 파일이 필요합니다.

URL 테스트

    위의 robots.txt를 Google이 읽는 방식대로 확인합니다. 크롤러 이름이 정확히 일치하는 그룹이 User-agent: *보다 우선하고, 이름이 같은 그룹은 합쳐집니다. 자기 그룹이 없는 크롤러는 비슷한 이름이 아니라 *를 따릅니다(Googlebot-Image는 Googlebot 그룹을 쓰지 않습니다). 그룹 안에서는 일치하는 규칙 중 가장 긴 것이 결정하며, 길이가 같으면 Allow가 이깁니다. 전체 URL을 넣으면 경로와 쿼리만 사용합니다.

    robots.txt는 자물쇠가 아니라 공개된 요청입니다. 누구나 읽을 수 있고 불량 봇은 무시하므로 비밀 경로를 절대 적지 마세요. 검색 결과에서 페이지를 없애 주지도 않습니다. 차단한 URL도 링크를 통해 색인될 수 있습니다. 검색에서 빼려면 noindex 태그를 쓰고 페이지는 크롤링 가능하게 두세요. 보호가 필요하면 비밀번호를 쓰세요.

    robots.txt의 작동 방식

    규칙을 지키는 봇은 사이트를 크롤링하기 전에 /robots.txt를 받아 자기 이름과 맞는 그룹을 찾고, 없으면 User-agent: *를 따릅니다. 그룹 안에서 Disallow는 건너뛸 경로를, Allow는 그 안의 예외를 지정합니다. 이 파일은 색인이 아니라 크롤링을 제어하며, 따르기로 한 봇에게만 효력이 있습니다.

    사용 방법

    1. 1 템플릿을 고르거나 예시를 수정하세요. 크롤러마다(전체는 *) 그룹 하나를 두고 Disallow와 Allow 줄을 씁니다.
    2. 2 사이트맵 주소를 넣고 점검 결과를 확인하세요. 앞에 슬래시가 없는 경로나 https://가 없는 사이트맵은 바로 표시됩니다.
    3. 3 텍스트를 복사하거나 robots.txt를 내려받아 사이트 루트에 올린 뒤, 내사이트/robots.txt를 열어 잘 보이는지 확인하세요.

    어떤 규칙이 우선하나

    주요 검색엔진은 규칙을 위에서 아래로 읽지 않습니다. URL마다 가장 구체적인 일치, 즉 가장 긴 경로를 따르고, 길이가 같은 Allow와 Disallow가 있으면 Allow가 이깁니다. 그래서 Disallow: /admin/과 Allow: /admin/help/를 함께 쓰면 순서와 상관없이 도움말 페이지는 크롤링됩니다. 또한 크롤러는 한 그룹만 따릅니다. Googlebot 그룹이 있으면 Googlebot은 * 그룹을 완전히 무시합니다.

    차단과 noindex는 다릅니다

    robots.txt로 차단한 URL도 다른 페이지가 링크하면 검색 결과에 나올 수 있습니다. 보통 설명 없는 링크만 보입니다. 더 나쁜 경우, 페이지에 noindex 태그를 달고 동시에 차단하면 크롤러가 페이지를 가져오지 않아 태그를 영영 보지 못합니다. 검색에서 빼려면 크롤링을 허용하고 noindex를 쓰세요. 차단은 결과에서 사라진 다음에 하세요.

    메타 태그 생성기 →

    의도보다 많이 막는 실수

    규칙은 접두사로 동작합니다. Disallow: /blog는 /blog-tips/와 /blogger.html도 막으니 폴더를 뜻한다면 /blog/로 쓰세요. Disallow: / 하나만 있으면 사이트 전체가 막히는데, 테스트 서버에서 넘어온 전형적인 실수입니다. CSS와 JavaScript 폴더를 막으면 검색엔진이 페이지를 제대로 렌더링하지 못합니다. 경로는 대소문자도 구분해서 /Admin/은 /admin/을 포함하지 않습니다. 특정 URL이 어떻게 처리되는지 보려면 결과 아래의 테스트 칸에 입력하세요. 결정한 그룹과 규칙을 알려 줍니다.

    AI 크롤러와 제어용 토큰

    여러 AI 기업이 학습 데이터 수집에 쓰는 User-agent 이름을 공개하고, 거부하는 방법으로 robots.txt를 안내합니다. 일부 이름은 별도 크롤러가 아니라 제어용 토큰입니다. Google-Extended와 Applebot-Extended는 페이지를 직접 가져가지 않고, 검색 크롤러가 이미 수집한 콘텐츠를 AI 모델 학습(Google은 Gemini 답변의 출처로 쓰는 것 포함)에 써도 되는지만 정합니다. 차단해도 검색 순위에는 영향이 없지만, 검색 안의 AI 기능에서 빠지는 것도 아닙니다. Google의 AI Overviews와 AI Mode는 Googlebot으로 동작하며 Google-Extended가 아니라 nosnippet이나 noindex로 제어합니다. 이름은 바뀌고 새로 생기기도 하니 템플릿은 출발점으로 삼고 각 업체의 최신 문서를 확인하세요.

    robots.txt 자주 묻는 질문

    아니요. 크롤링만 멈춥니다. 다른 사이트가 링크하면 설명 없이 색인에 남을 수 있습니다. 없애려면 noindex 메타 태그나 X-Robots-Tag 헤더를 단 채 크롤링되게 하거나, 페이지를 삭제하거나 로그인 뒤로 옮기세요.
    신규
    UTM 생성기 UTM 태그가 붙은 캠페인 링크를 몇 초 만에 만드세요. 기존 파라미터와 #앵커는 그대로 두고, 값을 올바르게 인코딩하며, 대문자와 공백을 경고합니다.
    오늘 인기
    키워드 밀도 검사기 무료 키워드 밀도 검사기: 텍스트나 URL을 넣으면 단어와 구절의 출현 횟수와 비율을 보여줍니다.

    다른 SEO 도구

    키워드 밀도 검사기 무료 키워드 밀도 검사기: 텍스트나 URL을 넣으면 단어와 구절의 출현 횟수와 비율을 보여줍니다.
    슬러그 생성기 어떤 제목이든 깔끔한 URL 슬러그로 바꿉니다. 독일어 ü는 ue, 터키어 ü는 u, 키릴 문자는 로마자로. 언어는 여러분이 고릅니다.
    메타 태그 생성기 제목, 설명, URL, 이미지를 입력해 HTML 메타 태그와 Open Graph, Twitter Card 마크업을 생성하고, 게시 전에 Google 검색 결과, Facebook, X에서 페이지가 어떻게 보일지 확인하세요.
    SERP 미리보기 타이틀과 메타 디스크립션이 PC와 모바일 검색 결과에서 어떻게 보이는지 확인하세요. 픽셀 기준 잘림, 글자 수와 픽셀 수 카운터를 제공합니다.
    UTM 생성기 UTM 태그가 붙은 캠페인 링크를 몇 초 만에 만드세요. 기존 파라미터와 #앵커는 그대로 두고, 값을 올바르게 인코딩하며, 대문자와 공백을 경고합니다.

    추천 도구

    Word를 PDF로 무료 Word → PDF 변환: DOC, DOCX, ODT, RTF 파일을 올리면 서식이 유지된 PDF를 몇 초 만에 내려받습니다.
    PDF를 Word로 무료 PDF → Word 변환: PDF를 올리면 몇 초 만에 편집 가능한 DOCX를 받습니다. 가입도 워터마크도 없습니다.
    MD5 생성기 무료 MD5 해시 생성기: 텍스트나 파일을 브라우저에서 MD5 체크섬으로 변환합니다. 무결성 확인과 빠른 비교에 유용합니다.
    Base64 인코더 및 디코더 무료 Base64 인코더·디코더: 텍스트나 파일을 브라우저에서 Base64로 변환하고 되돌립니다. 서버로 전송되지 않습니다.
    워드 카운터 무료 단어 수 세기: 텍스트를 붙여넣으면 단어·글자·문장·문단 수와 예상 읽기 시간을 보여줍니다. 내용은 브라우저를 벗어나지 않습니다.