# \[테크니컬 SEO] robots.txt & 사이트맵 제출 쇼핑몰이 검색 결과에 잘 노출되려면 지속적으로 웹을 탐색하면서 새로운 페이지를 찾는 검색엔진의 크롤러가 쇼핑몰의 페이지를 쉽게 크롤링(수집)하고 색인을 만들 수 있도록 사이트 정보를 정돈하는 작업이 필요합니다. ![](https://www.nhn-commerce.com/image_view.php?image=qzir7qgy67c1dzk.png) **1. 사이트 발견되게 하기 – robots.txt** 내 쇼핑몰이 검색엔진에서 검색되도록 하기 위한 첫 번째 단계는 웹 크롤러(검색로봇)에게 발견될 수 있도록 하는 것입니다. 이를 위해 필요한 작업이 robots.txt 파일을 활용해 검색로봇의 접근을 허용하고 접근 범위를 관리자의 의도에 맞게 설정하는 것입니다. ![](https://www.nhn-commerce.com/image_view.php?image=r3q2jdnen6o8x8.jpg) 고도몰5 쇼핑몰 관리자 페이지 **내 기본설정 > 기본정책 > 검색엔진 최적화(SEO) 설정** 섹션에서 민감한 정보거나 크롤링이 불필요한 페이지를 크롤링되지 않도록 URL을 개별적으로 정할 수 있습니다. | **모든 검색로봇 전체 사이트 접근 허용** | **구글 검색로봇 일부 페이지 접근 차단** | | ------------------------------------------------------------------------------------------------------------------------- | -------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | |

-------------------------------

User-agent: \*

Disallow:

-------------------------------

|

-------------------------------

User-agent: Googlebot

Disallow: /shop/admin/

Disallow: /calendar/ 차단하고자 하는 하위 도메인

-------------------------------

| 차단하는 URL은 해당하는 반드시 User-agent: 내용 아래 기재해주어야 정상적으로 차단됩니다. 이외 추가 예시가 필요하시면 구글 검색 센터의 **robots.txt 규칙**을 학습해주세요. [**robot.txt 규칙 알아보기**](https://developers.google.com/search/docs/advanced/robots/create-robots-txt?hl=ko#useful-robots.txt-rules) ![](https://www.nhn-commerce.com/image_view.php?image=r3q34rhefb8ecf.jpg) 작성한 내용은 **robotx.txt 테스터**를 통해 검색로봇이 제대로 하단/허용되는지 확인할 수 있습니다. \ 예를들어 구글 검색에서 차단하고 싶은 어드민 페이지의 URL이 Googlebot에게 제대로 차단되었는지, 반대로 허용한 경로가 정상적으로 크롤링 되는지도 확인할 수 있습니다. [**robots.txt 테스터**](https://support.google.com/webmasters/answer/6062598?hl=ko) ![](https://www.nhn-commerce.com/image_view.php?image=r3q38318ny40u7p.jpg) 실제 적용한 내용은 **(쇼핑몰 주소)/robots.txt** 페이지에서 확인 가능합니다. **2. 사이트맵으로 사이트 정보 업데이트하기** 사이트맵(sitemap.xml)은 쇼핑몰 콘텐츠, 변경 빈도, 수정 날짜 등 URL에 대한 다양한 정보를 담은 XML 형식으로 검색 엔진에 목차처럼 제공하는 역할을 합니다. 검색로봇이 사이트의 업데이트 된 내용을 누락할 수 있기 때문에 사이트에 업데이트 된 내용이 있을 때 사이트맵을 제출하면 검색엔진이 이 파일을 읽고 사이트를 더 효율적으로 크롤링하도록 유도할 수 있습니다. 사이트맵은 크기에 따라 생성할 수 있는 방법이 다양하며 간편하게 만들 수 있는 사이트를 추천드릴게요. ![](https://www.nhn-commerce.com/image_view.php?image=r3qe3fbh0fw1xhn.jpg) xml-sitemaps.com에서 쇼핑몰 표준 URL을 입력하면 사이트 스캐닝이 완료되고 사이트맵 XML 파일이 자동으로 생성됩니다. [**xml-sitemaps.com 바로가기**](https://www.xml-sitemaps.com/) ![](https://www.nhn-commerce.com/image_view.php?image=r3qe804eemgief.jpg) 다운받은 사이트맵 파일을 고도몰5 쇼핑몰 관리자 내 **기본설정 > 검색엔진 최적화(SEO) 설정 > 사이트맵 설정** 섹션에 업로드해주세요. ![](https://www.nhn-commerce.com/image_view.php?image=r3qe8xw5y6suac.jpg) 정상적으로 업로드 되면 **(쇼핑몰주소)/sitemap.xml** 에서 사이트맵 존재 여부를 확인할 수 있습니다. ![](https://www.nhn-commerce.com/image_view.php?image=r3qec4pof0gn8w.jpg) 등록한 사이트맵을 검색엔진에 알리기 위해서는 사이트맵 경로를 검색엔진의 웹 마스터 도구에 재출해줘야 합니다. **구글 서치 콘솔 > Sitemaps** 영역에서 사이트맵 URL 에 **sitemaps.xml** 을 입력해주시면 완료됩니다.
**연관된 콘텐츠** [**매년 디지털 마케팅 트렌드에 빠지지 않는 SEO, 왜 필요할까?**](https://marketing.nhn-commerce.com/insite/support-view.gd?idx=19) [**\[SEO\] 네이버 검색 결과... 네이버 서치 어드바이저 설정**](https://marketing.nhn-commerce.com/insite/support-view.gd?idx=5) [**\[SEO\] 구글 검색 결과... 구글 서치 콘솔 설정**](https://marketing.nhn-commerce.com/insite/support-view.gd?idx=4) [**\[테크니컬 SEO\] 페이지 URL & 메타 태그 설정**](https://marketing.nhn-commerce.com/insite/support-view.gd?idx=9) [**\[테크니컬 SEO\] 오픈그래프, 대표 URL, https 프로토콜 사용**](https://marketing.nhn-commerce.com/insite/support-view.gd?idx=10) [**\[테크니컬 SEO\] 구조화된 데이터 활용**](https://marketing.nhn-commerce.com/insite/support-view.gd?idx=11) [**\[테크니컬 SEO\] 모바일 최적화**](https://marketing.nhn-commerce.com/insite/support-view.gd?idx=12) [**\[콘텐츠 SEO\] 사용자와 검색엔진을 모두 만족시키는 콘텐츠 SEO**](https://marketing.nhn-commerce.com/insite/support-view.gd?idx=25) [**\[오프페이지 SEO\] 사이트 신뢰도를 높이는 링크 빌딩**](https://marketing.nhn-commerce.com/insite/support-view.gd?idx=24)