🤖 robots.txt / sitemap.xml 생성기
robots.txt는 크롤러가 무엇을 가져올 수 있고 없는지 알려주고, sitemap.xml은 검색 엔진에 어떤 페이지가 인덱싱할 가치가 있는지 알려줍니다. 여기서 둘 다 생성하고 각 규칙을 이해하세요.
robots.txt & sitemap.xml 생성기
크롤링 규칙과 사이트맵을 인터랙티브하게 설정하고 실시간으로 미리 본 뒤 클릭 한 번으로 복사 / 다운로드하세요. 모든 작업은 브라우저에서 로컬로 처리되며 네트워크 요청이 없습니다.
빠른 프리셋:
규칙 그룹 #1
Allow 경로
없음
Disallow 경로
생성 결과 robots.txt
User-agent: *
Disallow: /admin/
Sitemap: https://example.com/sitemap.xml어디에 두어야 하나
robots.txt는 반드시 사이트 루트(예: https://example.com/robots.txt)에 있어야 합니다. sitemap.xml도 루트에 두고, robots.txt에서 Sitemap: 줄로 참조해 크롤러가 찾을 수 있게 하세요.