> For the complete documentation index, see [llms.txt](https://marketing-help.nhn-commerce.com/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://marketing-help.nhn-commerce.com/traffic-growth-strategies/seo-optimization/site-map.md).
# \[테크니컬 SEO] robots.txt & 사이트맵 제출
쇼핑몰이 검색 결과에 잘 노출되려면 지속적으로 웹을 탐색하면서 새로운 페이지를 찾는 검색엔진의 크롤러가 쇼핑몰의 페이지를 쉽게 크롤링(수집)하고 색인을 만들 수 있도록 사이트 정보를 정돈하는 작업이 필요합니다.
**1. 사이트 발견되게 하기 – robots.txt**
내 쇼핑몰이 검색엔진에서 검색되도록 하기 위한 첫 번째 단계는 웹 크롤러(검색로봇)에게 발견될 수 있도록 하는 것입니다. 이를 위해 필요한 작업이 robots.txt 파일을 활용해 검색로봇의 접근을 허용하고 접근 범위를 관리자의 의도에 맞게 설정하는 것입니다.
고도몰5 쇼핑몰 관리자 페이지 **내 기본설정 > 기본정책 > 검색엔진 최적화(SEO) 설정** 섹션에서 민감한 정보거나 크롤링이 불필요한 페이지를 크롤링되지 않도록 URL을 개별적으로 정할 수 있습니다.
| **모든 검색로봇 전체 사이트 접근 허용** | **구글 검색로봇 일부 페이지 접근 차단** |
| ------------------------------------------------------------------------------------------------------------------------- | -------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- |
| -------------------------------
User-agent: \*
Disallow:
-------------------------------
| -------------------------------
User-agent: Googlebot
Disallow: /shop/admin/
Disallow: /calendar/ 차단하고자 하는 하위 도메인
-------------------------------
|
차단하는 URL은 해당하는 반드시 User-agent: 내용 아래 기재해주어야 정상적으로 차단됩니다.
이외 추가 예시가 필요하시면 구글 검색 센터의 **robots.txt 규칙**을 학습해주세요.
[**robot.txt 규칙 알아보기**](https://developers.google.com/search/docs/advanced/robots/create-robots-txt?hl=ko#useful-robots.txt-rules)
작성한 내용은 **robotx.txt 테스터**를 통해 검색로봇이 제대로 하단/허용되는지 확인할 수 있습니다. \
예를들어 구글 검색에서 차단하고 싶은 어드민 페이지의 URL이 Googlebot에게 제대로 차단되었는지, 반대로 허용한 경로가 정상적으로 크롤링 되는지도 확인할 수 있습니다.
[**robots.txt 테스터**](https://support.google.com/webmasters/answer/6062598?hl=ko)
실제 적용한 내용은 **(쇼핑몰 주소)/robots.txt** 페이지에서 확인 가능합니다.
**2. 사이트맵으로 사이트 정보 업데이트하기**
사이트맵(sitemap.xml)은 쇼핑몰 콘텐츠, 변경 빈도, 수정 날짜 등 URL에 대한 다양한 정보를 담은 XML 형식으로 검색 엔진에 목차처럼 제공하는 역할을 합니다.
검색로봇이 사이트의 업데이트 된 내용을 누락할 수 있기 때문에 사이트에 업데이트 된 내용이 있을 때 사이트맵을 제출하면 검색엔진이 이 파일을 읽고 사이트를 더 효율적으로 크롤링하도록 유도할 수 있습니다.
사이트맵은 크기에 따라 생성할 수 있는 방법이 다양하며 간편하게 만들 수 있는 사이트를 추천드릴게요.
xml-sitemaps.com에서 쇼핑몰 표준 URL을 입력하면 사이트 스캐닝이 완료되고 사이트맵 XML 파일이 자동으로 생성됩니다.
[**xml-sitemaps.com 바로가기**](https://www.xml-sitemaps.com/)
다운받은 사이트맵 파일을 고도몰5 쇼핑몰 관리자 내
**기본설정 > 검색엔진 최적화(SEO) 설정 > 사이트맵 설정** 섹션에 업로드해주세요.
정상적으로 업로드 되면 **(쇼핑몰주소)/sitemap.xml** 에서 사이트맵 존재 여부를 확인할 수 있습니다.
등록한 사이트맵을 검색엔진에 알리기 위해서는 사이트맵 경로를 검색엔진의 웹 마스터 도구에 재출해줘야 합니다.
**구글 서치 콘솔 > Sitemaps** 영역에서 사이트맵 URL 에 **sitemaps.xml** 을 입력해주시면 완료됩니다.
**연관된 콘텐츠**
[**매년 디지털 마케팅 트렌드에 빠지지 않는 SEO, 왜 필요할까?**](https://marketing.nhn-commerce.com/insite/support-view.gd?idx=19)
[**\[SEO\] 네이버 검색 결과... 네이버 서치 어드바이저 설정**](https://marketing.nhn-commerce.com/insite/support-view.gd?idx=5)
[**\[SEO\] 구글 검색 결과... 구글 서치 콘솔 설정**](https://marketing.nhn-commerce.com/insite/support-view.gd?idx=4)
[**\[테크니컬 SEO\] 페이지 URL & 메타 태그 설정**](https://marketing.nhn-commerce.com/insite/support-view.gd?idx=9)
[**\[테크니컬 SEO\] 오픈그래프, 대표 URL, https 프로토콜 사용**](https://marketing.nhn-commerce.com/insite/support-view.gd?idx=10)
[**\[테크니컬 SEO\] 구조화된 데이터 활용**](https://marketing.nhn-commerce.com/insite/support-view.gd?idx=11)
[**\[테크니컬 SEO\] 모바일 최적화**](https://marketing.nhn-commerce.com/insite/support-view.gd?idx=12)
[**\[콘텐츠 SEO\] 사용자와 검색엔진을 모두 만족시키는 콘텐츠 SEO**](https://marketing.nhn-commerce.com/insite/support-view.gd?idx=25)
[**\[오프페이지 SEO\] 사이트 신뢰도를 높이는 링크 빌딩**](https://marketing.nhn-commerce.com/insite/support-view.gd?idx=24)
---
# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.
## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question.
Perform an HTTP GET request on the current page URL with the `ask` query parameter:
```
GET https://marketing-help.nhn-commerce.com/traffic-growth-strategies/seo-optimization/site-map.md?ask=
```
The question should be specific, self-contained, and written in natural language.
The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.
Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.
