로봇텍스트(robots.txt)

로봇텍스트 설정 방법에 대한 문서 입니다.

참고문서

robots.txt 설정하기searchadvisor.naver.com

네이버 robots.txt

로봇 배제 표준Wikipedia

위키백과 문서

robots.txt 파일 만들기 및 제출 | Google 크롤링 인프라  |  Crawling infrastructure  |  Google for DevelopersGoogle for Developers

Google 참고문서

검색엔진 봇(bot)에게 접근 가능/불가를 지시하는 로봇텍스트

검색엔진 봇(bot) 이란?

쇼핑몰을 돌아다니며 정보를 수집하고 있습니다.

• 네이버, 구글 같은 검색엔진은 웹 크롤러라는 봇(bot)을 통해 쇼핑몰/웹사이트 정보 등을 수집하고 있습니다. 바로 검색 결과페이지에 쇼핑몰/웹사이트를 노출하기 위해서인데요.

로봇텍스트란?

• 검색엔진 봇(bot)이 쇼핑몰(웹사이트의) 어느 위치를 방문할 수 있는지, 크롤링할 수 있는지 등을 명시한 문서예요.

• 따라서 검색엔진 봇에게 특정 페이지는 수집/수집하지 말아주세요 등을 설정하는 하나의 텍스트 파일이에요.

• 로봇텍스트는 국제에서 표준으로 정한 규칙이니 해당 규칙을 지켜주어야 합니다.

로봇텍스트는 어디에 위치 시켜야할까요?

• 로봇텍스트는 하나의 규칙으로 root(/) 경로에 위치 시켜야 해요. TIP 1. root(/)는 쇼핑몰(웹사이트) 디렉토리의 최상위를 말합니다.

• 예시) https://www.example.com/robots.txt

로봇 텍스트 규칙

아래는몇 가지 로봇텍스트의 대표적인 규칙입니다.

User-agent

• 내 쇼핑몰/웹사이트에 접근을 허용할 봇을 선택하는 주체예요.

• User-agent: * 로 설정하면 모든 봇의 접근을 허용한다는 뜻이에요.

Allow & Disallow

• Allow는 영어 문자 그대로 허용을 의미합니다. Allow를 통해 특정 위치, 경로 등을 접근 가능하게 해요.

• Disallow는 반대로특정 위치, 경로 접근을 불허해요.

• Allow와 Disallow를 통해 검색엔진 봇이 접근을 할 수 있을지 없을지를 결정하게 됩니다

• 예시는 아래와 같아요.

  • User-agent: *

    Allow: /

    모든 '봇'이 모든 경로에 접근 가능하게 처리되었습니다.

  • User-agent: Yeti

  Disallow: /

  네이버 검색엔진 봇, Yeti는 모든 경로에 접근 불가능하게 됩니다.

더 다양한 예시

• 워낙 다양한 예시가 있어 상단의 예시 링크 등을 참조해 주세요 ^^