로봇텍스트(robots.txt)
로봇텍스트 설정 방법에 대한 문서 입니다.
참고문서
검색엔진 봇(bot) 이란?
네이버, 구글 같은 검색엔진은 웹 크롤러라는 봇(bot)을 통해 쇼핑몰/웹사이트 정보 등을 수집하고 있습니다. 바로 검색 결과페이지에 쇼핑몰/웹사이트를 노출하기 위해서인데요.
로봇텍스트란?
검색엔진 봇(bot)이 쇼핑몰(웹사이트의) 어느 위치를 방문할 수 있는지, 크롤링할 수 있는지 등을 명시한 문서예요.
따라서 검색엔진 봇에게 특정 페이지는 수집/수집하지 말아주세요 등을 설정하는 하나의 텍스트 파일이에요.
로봇텍스트는 국제에서 표준으로 정한 규칙이니 해당 규칙을 지켜주어야 합니다.
로봇텍스트는 어디에 위치 시켜야할까요?
로봇텍스트는 하나의 규칙으로 root(/) 경로에 위치 시켜야 해요. TIP 1. root(/)는 쇼핑몰(웹사이트) 디렉토리의 최상위를 말합니다.
로봇 텍스트 규칙
아래는몇 가지 로봇텍스트의 대표적인 규칙입니다.
User-agent
내 쇼핑몰/웹사이트에 접근을 허용할 봇을 선택하는 주체예요.
User-agent: * 로 설정하면 모든 봇의 접근을 허용한다는 뜻이에요.
Allow & Disallow
Allow는 영어 문자 그대로 허용을 의미합니다. Allow를 통해 특정 위치, 경로 등을 접근 가능하게 해요.
Disallow는 반대로특정 위치, 경로 접근을 불허해요.
Allow와 Disallow를 통해 검색엔진 봇이 접근을 할 수 있을지 없을지를 결정하게 됩니다
예시는 아래와 같아요.
User-agent: *
Allow: /
모든 '봇'이 모든 경로에 접근 가능하게 처리되었습니다.
User-agent: Yeti
Disallow: /
네이버 검색엔진 봇, Yeti는 모든 경로에 접근 불가능하게 됩니다.
더 다양한 예시
워낙 다양한 예시가 있어 상단의 예시 링크 등을 참조해 주세요 ^^
Last updated
