네이버 SEO 웹문서 영역에 홈페이지가 없을 때 수집 차단부터 봅니다
네이버 웹문서 영역에 블로그만 보이고 홈페이지가 없다면, 먼저 robots.txt와 noindex 때문에 홈페이지 수집이 막혔는지 확인합니다. 수집에 문제가 없으면 대표 주소와 본문 텍스트를 보고, 마지막으로 블로그와 겹치는 문단과 검색어를 확인합니다.
네이버 SEO에서 블로그와 홈페이지는 주소와 서버가 다른 별개의 문서입니다. 그래서 두 곳을 각각 진단합니다.
처음 10분 안에 어떤 검색으로 상태를 나누나요?
블로그가 잘 보인다고 해서 홈페이지 상태까지 좋다고 볼 수는 없습니다. 처음에는 다음 세 가지 검색으로 상태를 나눕니다.
- 회사명으로 검색합니다.
- 홈페이지 도메인 주소를 그대로 검색합니다.
- 홈페이지 본문에만 있는 고유한 문장 하나를 검색합니다.
| 검색 결과 | 해석 | 다음 확인 |
|---|---|---|
| 세 검색 모두 홈페이지가 나오지 않음 | 수집 단계 문제 후보 | robots.txt·noindex·서버 응답을 점검 |
| 도메인 검색에는 메인만 나오고 고유 문장 검색에는 나오지 않음 | 하위 페이지 수집 또는 본문 텍스트 문제 후보 | 메뉴 링크 구조와 이미지 속 글자 여부 |
| 고유 문장으로는 나오지만 회사명 검색에는 블로그만 나옴 | 수집은 됐고 노출 단계 문제 후보 | 블로그와 겹치는 문단과 페이지별 검색어 |
검색 결과에 보이지 않는다고 해서 곧바로 수집 실패라고 볼 수는 없습니다. 수집은 됐지만 반영이 늦은 경우도 있고, 특정 검색어로만 노출되지 않는 경우도 있습니다. 그래서 검색 결과로는 방향만 정하고, 실제 원인은 다음 절의 robots.txt·noindex·서버 응답 점검으로 확인합니다.
수집이 막힌 홈페이지에서는 어떤 현상이 보이나요?
수집 단계에서는 원인 후보로 서버 설정과 페이지 코드를 먼저 봅니다. 보이는 현상과 원인 후보를 짝지어 정리하면 개발사에 무엇을 물을지가 정해집니다.
| 보이는 현상 | 원인 후보 | 확인 방법 |
|---|---|---|
| 주소로 검색해도 어떤 페이지도 나오지 않음 | robots.txt가 사이트 전체 접근을 막음 | 도메인 뒤에 /robots.txt를 붙여 열고, User-agent: * 묶음과 검색 로봇 이름이 적힌 묶음에 Disallow: /가 있는지 봄 |
| 일부 메뉴의 페이지만 나오지 않음 | 특정 경로 차단 또는 해당 페이지의 noindex | 해당 경로의 Disallow 줄과 페이지 소스의 robots 메타 태그를 찾음 |
| 리뉴얼 뒤 홈페이지가 사라짐 | 개발 서버의 차단 규칙과 noindex가 운영 서버에 남음 | 배포 전후 robots.txt와 head 영역을 비교함 |
| 메인 페이지만 나오고 하위 페이지가 없음 | 메뉴가 a 태그 링크가 아니라 스크립트 클릭으로 구현됨 | 소스에서 메뉴 항목에 href 주소가 있는지 봄 |
| 없는 주소를 열어도 정상 화면이 뜸 | 오류 페이지가 표준 상태 코드를 돌려주지 않음 | 임의 주소를 열고 개발사에 응답 코드를 확인함 |
| 첫 화면이 열리자마자 다른 주소로 넘어감 | 자바스크립트 방식의 주소 이동 | 서버의 301·302 이동으로 바꿀 수 있는지 문의함 |
Google 문서는 Google 크롤러에 대해 robots.txt가 하나 이상의 그룹으로 이루어진다고 설명합니다. 각 그룹은 적용 대상을 밝히는 User-agent 줄로 시작하고, 크롤러 하나는 자신에게 맞는 그룹 하나의 규칙만 따른다는 설명입니다. 이는 Google 문서의 설명이며, 네이버 검색 로봇의 처리 방식은 서치어드바이저 도움말에서 따로 확인합니다. 실무에서는 User-agent: * 아래만 읽고 정상이라고 판단하지 않고, 검색 로봇 이름이 적힌 그룹까지 모두 읽습니다.
Google 문서는 Google 검색 기준으로 robots.txt가 크롤러의 접근을 관리하는 파일이며, 페이지를 검색에서 빼는 수단은 아니라고 설명합니다. robots.txt로 막힌 페이지에서는 크롤러가 noindex 규칙을 볼 수 없다는 설명도 있습니다. 홈페이지를 노출하려는 상황이라면 실무에서는 노출할 페이지의 차단 규칙과 noindex를 모두 지웁니다.
네이버가 2013년 12월 공개한 웹문서 수집·반영 기본 가이드라인도 수집을 제한할 때는 robots.txt로 알리고, 오류 페이지는 HTTP 규약에 맞게 만들라고 권했습니다. 페이지가 영구히 바뀌면 301을, 일시적인 장애나 일시적인 페이지 변경에는 302를 쓰라는 항목도 있었습니다. 자바스크립트로 주소를 이동시키지 말라는 항목도 함께 들어 있었습니다.
실무에서는 보안 장비나 호스팅 설정이 낯선 접속을 막는 경우도 원인 후보에 넣습니다. 검색 로봇의 방문이 거절된 기록이 서버 접근 기록에 있는지 개발사에 확인을 요청합니다.
홈페이지 주소가 여러 갈래로 나뉘어 있지 않은가요?
같은 페이지가 http와 https로, www가 붙은 주소와 붙지 않은 주소로 모두 열리면 검색엔진은 어느 쪽을 대표 주소로 삼을지 판단해야 합니다. 같은 가이드는 같은 내용에는 되도록 하나의 호스트명과 URL을 쓰고, 호스트명에 밑줄(_)을 쓰지 말라고 권했습니다.
Google 문서는 Google 검색에서 리디렉션과 rel="canonical"(대표 주소 지정 태그)을 대표 주소를 알리는 강한 신호로, 사이트맵 포함을 약한 신호로 분류합니다. 실무에서는 세 방법이 모두 같은 대표 주소를 가리키게 맞춥니다.
예를 들어 가상의 ○○ 기업이 블로그 프로필에는 www 없는 주소를 걸고, 홈페이지 내부 메뉴에는 www 주소를 걸었다면 신호가 둘로 나뉩니다. 이럴 때는 대표 주소를 하나로 정하고 나머지 주소는 그 주소로 301 이동시킵니다. 블로그, 명함, 광고 문구에 적힌 주소도 대표 주소로 통일합니다.
홈페이지 본문이 글자로 읽히나요?
회사 홈페이지가 소개 문구와 서비스 설명을 큰 이미지 한 장에 담았다면 그 부분부터 점검합니다. 같은 가이드는 글자를 가급적 이미지가 아니라 텍스트로 표현하라고 권했습니다. 이미지 속 글자만 있는 페이지는 검색어와 맞춰 볼 문장이 부족해집니다.
자바스크립트로 화면을 그리는 사이트도 확인 대상입니다. Google 문서는 Google 검색 기준으로 링크가 href 속성이 있는 a 요소일 때만 발견된다고 설명합니다. 또 모든 봇이 자바스크립트를 실행하지는 않으므로 서버 측 렌더링이나 사전 렌더링을 여전히 좋은 방법으로 보며, 주소의 # 뒷부분으로 다른 페이지 콘텐츠를 불러오지 말라고 안내합니다.
실무에서는 다음 순서로 확인합니다.
- 브라우저에서 페이지 소스 보기를 열고, 본문 핵심 문장이 글자로 들어 있는지 찾습니다.
- 메뉴와 서비스 목록이 a 태그와 실제 주소로 연결되어 있는지 봅니다.
- 주소 끝의 # 뒤만 바뀌면서 화면이 전환되는 구조인지 봅니다.
- 이미지로만 된 소개 문구가 있으면 같은 내용을 본문 텍스트로 함께 씁니다.
블로그와 홈페이지가 같은 글을 나눠 쓰고 있지 않은가요?
수집에 문제가 없는데도 회사명 검색에 블로그만 보인다면 중복을 원인 후보로 봅니다. 회사 소개문이나 서비스 설명을 블로그에 먼저 올린 뒤 홈페이지에 그대로 옮겼다면 그 문단부터 대조합니다.
같은 가이드는 원본 문서를 단순히 퍼 오지 말라고 권했고, 같은 보도자료에서 네이버는 유사 문서 판독을 정교하게 만드는 기술 개선 과제도 언급했습니다. 실무에서는 같은 문장이 두 곳에 있으면 어느 쪽이 원본으로 처리될지 알 수 없다고 보고, 홈페이지 문장을 따로 씁니다.
두 채널의 역할도 나눕니다. 홈페이지에는 회사 정보, 서비스 범위, 가격 기준, 문의 방법 같은 공식 정보를 둡니다. 블로그에는 현장 사례나 작업 과정처럼 시점이 있는 이야기를 쓰고, 공식 정보가 필요한 대목에서 홈페이지를 안내합니다.
예를 들어 가상의 ○○ 기업이라면 서비스 소개 문단은 홈페이지에만 둡니다. 블로그에는 그 서비스를 적용한 과정과 고객에게 받은 질문을 쓰고, 두 채널이 같은 검색어를 함께 노리지 않도록 페이지마다 핵심 검색어를 나눕니다.
서치어드바이저와 개발사에는 무엇을 남기고 요청하나요?
네이버는 2019년 10월 웹마스터 도구를 서치어드바이저로 통합·개편하면서 기존 기능을 유지하고, 유입 키워드와 클릭량을 볼 수 있는 검색 노출 및 클릭 리포트를 추가했다고 발표했습니다.
다음 항목을 확인합니다.
- 사이트 전체 구조를 담은 sitemap.xml을 만듭니다. 2013년 가이드에도 들어 있던 항목이며, 제출 방법은 서치어드바이저 현행 도움말에서 확인합니다.
- 검색 노출 및 클릭 리포트에서 홈페이지로 유입된 검색어가 있는지 확인합니다.
- 회사명이 유입 검색어에 없으면 앞 절의 기준으로 중복 문단과 페이지별 검색어 배분을 다시 점검합니다.
진단 결과를 같은 양식으로 기록해야 조치 전후를 비교할 수 있습니다. 다음 항목을 한 줄씩 남깁니다.
- 확인 날짜와 확인한 사람
- 회사명·도메인·고유 문장 세 가지 검색 결과
- robots.txt의 그룹별 Disallow 줄 내용
- 주요 페이지 다섯 개의 noindex 여부
- 대표 주소와 나머지 주소의 이동 방식
- sitemap.xml 작성 여부와 리포트에 나온 유입 검색어
개발사에는 아래 문안처럼 확인할 항목을 구체적으로 적어 요청합니다.
「네이버 웹문서 영역에 홈페이지가 노출되지 않아 원인을 확인하고 있습니다. 아래 네 가지를 확인 부탁드립니다.」
- 운영 서버 robots.txt에 모든 로봇이나 특정 검색 로봇을 막는 규칙이 있는지 알려 주십시오.
- 주요 페이지 head에 noindex가 남아 있는지 확인 부탁드립니다.
- http·www 주소가 대표 주소로 301 이동하는지 확인 부탁드립니다.
- 없는 주소에 404 응답이 나가는지, 검색 로봇의 접속을 서버가 거절한 기록이 있는지 알려 주십시오.
세부 기준은 현행 서치어드바이저 가이드로 확인합니다.
정리
블로그만 보이는 현상은 홈페이지가 수집 단계에서 막혔는지, 노출 단계에서 밀렸는지부터 나누면 원인이 좁혀집니다. 다음 순서로 진행합니다.
- 회사명, 도메인, 홈페이지 고유 문장으로 검색해 수집 단계와 노출 단계 중 어디를 볼지 정합니다.
- robots.txt의 그룹별 규칙과 주요 페이지의 noindex를 확인하고, 리뉴얼 때 남은 차단 규칙을 지웁니다.
- 대표 주소를 하나로 정해 나머지 주소를 301로 이동시키고, 블로그와 광고에 적힌 주소도 맞춥니다.
- 이미지로만 된 소개 문구를 본문 텍스트로 옮기고, 블로그와 겹치는 문단은 역할을 나눠 다시 씁니다.
- sitemap.xml을 갖춘 뒤 기록 양식으로 조치 전후 검색 결과와 리포트의 유입 검색어를 비교합니다.
참고 자료
- 네이버, 검색 '웹문서' 수집·반영 기본 가이드라인 「검색 잘되는 문서 만들기」 공개 (NAVER Corp. 보도자료 2013-12-20, 확인일 2026-10-24)
- 네이버 웹마스터 도구, '네이버 서치 어드바이저'로 통합·개편 (NAVER Corp. 보도자료 2019-10-23, 확인일 2026-10-24)
- robots.txt 소개 및 가이드 (Google Search Central, 확인일 2026-10-24)
- robots.txt 파일 만들기 및 제출 (Google Search Central, 확인일 2026-10-24)
- noindex를 사용하여 검색 색인 생성 차단 (Google Search Central, 확인일 2026-10-24)
- 자바스크립트 SEO 기본사항 이해하기 (Google Search Central, 확인일 2026-10-24)
- 중복 URL 통합 방법 (Google Search Central, 확인일 2026-10-24)