robots.txt 기본기｜불필요 경로 차단과 크롤링 안내검색엔진 크롤러는 먼저 robots.txt를 확인해 어떤 경로를 탐색(크롤링)할 수 있는지 판단합니다. 올바른 robots 정책은 불필요한 경로를 차단하고, 색인되어야 할 문서로 크롤 budget을 집중시킵니다. 이 글은 티스토리 블로그에 적용 가능한 허용·차단 패턴, 사이트맵 안내, 테스트·모니터링까지 주간 점검 루틴으로 정리합니다.📑 목차robots.txt 구조와 허용/차단 패턴블로그에서 자주 막는 경로(권장·주의)사이트맵 안내와 테스트·모니터링복붙 템플릿·체크리스트실천 요약 robots.txt 구조와 허용/차단 패턴1) 기본 문법# 모든 크롤러에 대한 기본 규칙User-agent: *Allow: /# 사이트맵 위치 안내(권장)Sitemap:..
