한 줄 잘못 쓰면,사이트가 검색에서 증발합니다*
robots.txt는 검색로봇에게 주는 출입 안내문입니다. 짧지만 파괴력이 커서, 사고 사례부터 보여드립니다.
Direct
Answer
robots.txt는 검색로봇에게 어디는 들어와도 되고 어디는 안 되는지 알려주는 규칙 파일로, 사이트 루트(도메인/robots.txt)에 둡니다. 가장 흔한 사고는 개발 중 넣어둔 전체 차단(Disallow: /)을 오픈 후에도 남겨두는 것 — 이 한 줄이면 검색엔진 전체에서 사이트가 사라집니다. 지금 내도메인/robots.txt를 열어 확인하는 것이 1분짜리 예방입니다.
작성일 2026-08-04 · Remnant Studio
1분 자가 점검
Quick check파일 열어보기
브라우저에서 내도메인/robots.txt 접속. 파일이 없으면(404) 기본적으로 전체 허용이라 차단 사고는 아닙니다.
Disallow: / 찾기
'User-agent: *' 아래 'Disallow: /' 한 줄이 있으면 전체 차단 중입니다. 즉시 지우거나 'Disallow:'(빈 값)으로 바꾸세요.
Sitemap 줄 확인
'Sitemap: 도메인/sitemap.xml' 선언이 있으면 로봇이 지도를 바로 찾습니다. 없으면 추가를 권합니다. 사이트맵 가이드 참고.
수정 후 재요청
고친 뒤 서치콘솔·서치어드바이저에서 수집을 다시 요청하면 반영이 빨라집니다.
사고 유형과 처방
Common errors| 사고 | 증상 | 처방 |
|---|---|---|
| 전체 차단 잔존 | 전 페이지 검색 실종 | Disallow: / 제거 후 재수집 요청 |
| CSS·이미지 폴더 차단 | 검색엔진이 '깨진 페이지'로 인식 | 디자인 리소스 폴더는 허용 |
| 특정 봇만 차단 | 네이버만 안 나옴 등 부분 실종 | Yeti(네이버)·Googlebot 허용 확인 |
| AI 크롤러 차단 | AI 검색·답변에서 제외 | GPTBot 등 허용 여부를 정책으로 결정 |
차단이 필요한 건 관리자 페이지 같은 비공개 영역뿐입니다.
권장 기본 형태
Good default소상공인 홈페이지의 robots.txt는 대개 이 정도면 충분합니다 — 전체 허용, 관리자 영역만 차단, 사이트맵 선언:
| User-agent: * Allow: / Disallow: /admin/ Sitemap: https://내도메인/sitemap.xml |
AI 검색 노출을 원한다면 GPTBot·ClaudeBot·PerplexityBot 같은 AI 크롤러도 허용 상태로 둡니다. Remnant 제작 사이트는 검색로봇과 AI 크롤러 허용 + 관리자 차단 + 사이트맵 선언까지 기본 세팅으로 나갑니다. 배경 개념은 GEO란에서 이어집니다.
자주 묻는 질문
FAQrobots.txt가 아예 없는데 만들어야 하나요?
없으면 전체 허용으로 동작하니 급하진 않습니다. 다만 사이트맵 선언과 관리자 영역 차단을 위해 기본 파일은 두는 것을 권합니다.
robots.txt로 차단하면 검색 결과에서 완전히 사라지나요?
크롤링만 막는 것이라, 이미 색인된 주소가 한동안 남을 수 있습니다. 확실한 제외가 필요하면 noindex 같은 다른 방법을 함께 씁니다.
수정했는데 언제부터 반영되나요?
로봇이 다시 방문할 때 반영됩니다. 수집 요청을 하면 며칠 안에, 안 하면 몇 주까지도 걸릴 수 있습니다.
AI 크롤러는 허용하는 게 좋은가요?
AI 검색에 노출되길 원하면 허용이 유리합니다. 콘텐츠 정책상 원치 않으면 차단할 수 있고, 이건 기술이 아니라 사업 방침의 선택입니다.
함께 보면 좋은 페이지
Keep Reading차단 사고인지 아닌지,
1분이면 확인됩니다*
사이트 주소만 보내주세요. robots·sitemap·색인 상태를 무료로 점검해 결과를 드립니다.