[테크니컬 SEO] robots.txt & 사이트맵 제출
쇼핑몰이 검색 결과에 잘 노출되려면 지속적으로 웹을 탐색하면서 새로운 페이지를 찾는 검색엔진의 크롤러가 쇼핑몰의 페이지를 쉽게 크롤링(수집)하고 색인을 만들 수 있도록 사이트 정보를 정돈하는 작업이 필요합니다.
1. 사이트 발견되게 하기 – robots.txt
내 쇼핑몰이 검색엔진에서 검색되도록 하기 위한 첫 번째 단계는 웹 크롤러(검색로봇)에게 발견될 수 있도록 하는 것입니다. 이를 위해 필요한 작업이 robots.txt 파일을 활용해 검색로봇의 접근을 허용하고 접근 범위를 관리자의 의도에 맞게 설정하는 것입니다.
고도몰5 쇼핑몰 관리자 페이지 내 기본설정 > 기본정책 > 검색엔진 최적화(SEO) 설정 섹션에서 민감한 정보거나 크롤링이 불필요한 페이지를 크롤링되지 않도록 URL을 개별적으로 정할 수 있습니다.
모든 검색로봇 전체 사이트 접근 허용
구글 검색로봇 일부 페이지 접근 차단
-------------------------------
User-agent: *
Disallow:
-------------------------------
-------------------------------
User-agent: Googlebot
Disallow: /shop/admin/
Disallow: /calendar/ 차단하고자 하는 하위 도메인
-------------------------------
차단하는 URL은 해당하는 반드시 User-agent: 내용 아래 기재해주어야 정상적으로 차단됩니다.
이외 추가 예시가 필요하시면 구글 검색 센터의 robots.txt 규칙을 학습해주세요.
작성한 내용은 robotx.txt 테스터를 통해 검색로봇이 제대로 하단/허용되는지 확인할 수 있습니다. 예를들어 구글 검색에서 차단하고 싶은 어드민 페이지의 URL이 Googlebot에게 제대로 차단되었는지, 반대로 허용한 경로가 정상적으로 크롤링 되는지도 확인할 수 있습니다.
실제 적용한 내용은 (쇼핑몰 주소)/robots.txt 페이지에서 확인 가능합니다.
2. 사이트맵으로 사이트 정보 업데이트하기
사이트맵(sitemap.xml)은 쇼핑몰 콘텐츠, 변경 빈도, 수정 날짜 등 URL에 대한 다양한 정보를 담은 XML 형식으로 검색 엔진에 목차처럼 제공하는 역할을 합니다.
검색로봇이 사이트의 업데이트 된 내용을 누락할 수 있기 때문에 사이트에 업데이트 된 내용이 있을 때 사이트맵을 제출하면 검색엔진이 이 파일을 읽고 사이트를 더 효율적으로 크롤링하도록 유도할 수 있습니다.
사이트맵은 크기에 따라 생성할 수 있는 방법이 다양하며 간편하게 만들 수 있는 사이트를 추천드릴게요.
xml-sitemaps.com에서 쇼핑몰 표준 URL을 입력하면 사이트 스캐닝이 완료되고 사이트맵 XML 파일이 자동으로 생성됩니다.
다운받은 사이트맵 파일을 고도몰5 쇼핑몰 관리자 내
기본설정 > 검색엔진 최적화(SEO) 설정 > 사이트맵 설정 섹션에 업로드해주세요.
정상적으로 업로드 되면 (쇼핑몰주소)/sitemap.xml 에서 사이트맵 존재 여부를 확인할 수 있습니다.
등록한 사이트맵을 검색엔진에 알리기 위해서는 사이트맵 경로를 검색엔진의 웹 마스터 도구에 재출해줘야 합니다.
구글 서치 콘솔 > Sitemaps 영역에서 사이트맵 URL 에 sitemaps.xml 을 입력해주시면 완료됩니다.
연관된 콘텐츠
매년 디지털 마케팅 트렌드에 빠지지 않는 SEO, 왜 필요할까?
[SEO] 네이버 검색 결과... 네이버 서치 어드바이저 설정
[테크니컬 SEO] 오픈그래프, 대표 URL, https 프로토콜 사용
Last updated
Was this helpful?