봇 접근 허용하기

고도몰관리자페이지에서 검색로봇이 정보를 수집할 수 있도록 검색로봇 접근제어 상세설정을 바꿔줍니다.

각 user-agent, 즉 각 매체별 웹 크롤러(봇)에게 접근 권한을 주어야해요.

(예를 들어, 구글의 웹 크롤러는 ‘googlebot’이라는 이름을 사용합니다.)

• 허용하고자 하는 user-agent 아래에 Allow:/를 추가해주면 끝!

참고로 모든 user-agent를 허용하고자 한다면 robots.txt 최상단의 User-agent: * 아래의 Disallow: / 를 Allow: / 로 바꿔주면 된답니다 🙂

*로봇 텍스트를 설정하는 방법은 다양합니다!

네이버 웹마스터 가이드를 참고해 보세요 👍