Robots.txt 만들기 도구

"Robots.txt"는 검색엔진에게 우리 웹사이트에서 볼 수 있는 것과 볼 수 없는 것을 알려주는 표지판 역할을 하는 파일입니다. 검색엔진 로봇에게 크롤링(수집)할 수 있는 것과 할 수 없는 것을 알려줄 수 있으며, 특정 검색엔진 로봇만 접근할 수 있도록 설정할 수도 있습니다.

Robots.txt 만들기 도구를 활용하면 손쉽게 상황을 설정하고 파일을 만들 수 있습니다. 검색엔진별, 폴더(디렉토리)별로 허용과 금지를 설정할 수 있으며, 사이트맵 Sitemap XML 파일의 위치를 지정할 수도 있습니다. Robots.txt 설정 완료후에 파일을 생성하고 다운로드 받으시면 됩니다.