네이버 서치어드바이저 수집 오류 반복, 응답 코드와 차단 규칙부터 봅니다

발행일 2026-11-23 · 넥스트티
네이버 서치어드바이저 수집 오류 반복, 응답 코드와 차단 규칙부터 봅니다

네이버 서치어드바이저에 같은 수집 오류가 계속 뜬다면 일시적인 장애보다 서버나 설정에 원인이 남아 있을 가능성을 먼저 봅니다. 원인 후보는 크게 네 갈래입니다. robots.txt 차단이나 응답 실패, 서버 오류와 과부하 응답, DNS·방화벽 같은 연결 문제, 주소 중복과 리디렉션 구조입니다.

오류가 난 주소의 응답 코드와 발생 시각을 함께 기록하면 네 갈래 가운데 어디에 해당하는지 좁힐 수 있습니다.

수집 오류가 한 번으로 끝나지 않고 계속 뜨는 이유는 무엇인가요?

검색 로봇은 같은 사이트를 주기적으로 다시 찾아옵니다. 원인이 그대로라면 찾아올 때마다 같은 응답을 받고, 관리 화면에는 같은 오류가 다시 쌓입니다.

Google 문서는 응답 코드에 따라 크롤러가 어떻게 움직이는지 설명합니다. 핵심은 다음과 같습니다.

  • 5xx와 429 응답: 크롤링 속도를 일시적으로 낮춥니다. 줄어드는 폭은 서버 오류를 내는 URL 수에 비례합니다.
  • 500 오류가 계속되는 URL: 결국 색인에서 삭제됩니다.
  • 다시 2xx를 반환할 때: 크롤링 속도를 한 번에 되돌리지 않고 점진적으로 높입니다.
  • 4xx 응답: 그 URL의 콘텐츠는 사용하지 않습니다. 이미 색인된 URL은 색인에서 삭제됩니다.
  • 2xx 응답: 색인 생성을 보장하지 않습니다. 빈 페이지나 오류 문구만 있는 페이지는 soft 404(정상 응답이지만 내용이 없는 페이지)로 분류될 수 있습니다.

이 설명은 Google 크롤러 기준이므로 네이버 검색 로봇의 세부 동작이 같다고 단정할 수는 없습니다. 다만 응답 코드로 페이지 상태를 알린다는 원칙은 같습니다. 네이버가 2013년 공개한 웹문서 수집 가이드라인에도 「오류 페이지는 HTTP 규약에 맞게 작성한다」는 항목이 있습니다.

실무에서는 반복되는 오류를 두 경우로 나누어 보는 방법을 권합니다. 첫째는 원인이 아직 고쳐지지 않은 경우입니다. 둘째는 원인을 고쳤지만 로봇이 수정된 상태를 아직 다시 확인하지 않은 경우입니다. 두 번째 경우는 수정한 날짜를 기록하고 그 뒤 새로 생긴 오류가 있는지만 보면 구분됩니다.

어떤 이상 신호가 어떤 원인 후보와 짝을 이루나요?

오류 목록을 볼 때는 오류 건수보다 어떤 모양으로 나타나는지를 먼저 봅니다. 사이트 전체에 퍼져 있는지, 특정 시간대에 몰리는지, 특정 경로에만 있는지에 따라 원인 후보가 달라집니다.

이상 신호원인 후보먼저 확인할 것
사이트 전체 주소가 한꺼번에 수집되지 않음robots.txt의 전체 차단 규칙, robots.txt 파일 자체의 5xx 응답robots.txt 응답 코드와 Disallow 규칙
특정 시간대에 오류가 몰림백업·배치 작업 중 서버 과부하, 429·5xx 응답같은 시각 서버 접근 기록의 응답 코드와 응답 시간
브라우저로는 열리는데 로봇 요청만 실패방화벽·보안 장비·봇 차단 설정보안 장비 차단 기록, 요청 주체별 응답 비교
일부 경로만 반복해서 실패해당 경로의 Disallow 규칙, 로그인 요구(401·403)경로별 robots.txt 규칙과 접근 권한 설정
삭제하거나 옮긴 주소의 오류가 남음404 응답, 사이트맵·내부 링크에 남은 옛 주소사이트맵과 내부 링크에서 옛 주소 검색
리디렉션되는 주소에서 실패연쇄 리디렉션, 스크립트 방식 리디렉션최종 주소까지 거치는 단계 수와 방식
응답은 정상인데 내용이 비어 있음오류 문구를 200 응답으로 내보내는 페이지응답 코드와 실제 화면 내용 대조

표의 원인은 후보입니다. 신호 하나에 원인 두 가지가 겹치는 경우도 있습니다. 예를 들어 가상의 ○○ 기업이 매일 새벽 백업을 돌리고, 같은 시각에 보안 장비가 요청 수 제한을 걸고 있다고 가정해 보겠습니다. 이 경우 과부하와 차단이 함께 나타납니다. 그래서 한 가지를 고친 뒤 오류가 줄었는지 확인하고 다음 후보로 넘어가는 순서가 원인을 가리기 쉽습니다.

robots.txt가 원인인지 어떻게 가려내나요?

네이버 웹문서 수집 가이드라인은 수집을 제한할 때 robots.txt로 알리도록 안내합니다. robots.txt 표준(RFC 9309)은 이 파일이 사이트 최상위 경로에 소문자 이름 「/robots.txt」로 있어야 한다고 정합니다. 인코딩은 UTF-8, 형식은 일반 텍스트입니다.

자주 놓치는 지점은 파일 내용보다 파일의 응답 코드입니다. 표준은 robots.txt를 요청했을 때의 결과에 따라 크롤러가 다르게 행동하도록 정합니다.

robots.txt 요청 결과표준이 정한 크롤러 동작실무 판단
정상적으로 내려받음파일 안의 규칙을 따름의도하지 않은 Disallow 규칙이 있는지 확인
4xx(파일 없음 등)서버의 모든 자원에 접근해도 됨차단할 의도가 없다면 수집 오류의 원인으로 보기 어려움
5xx(서버 오류)전면 차단으로 가정해야 함사이트 전체 수집 오류의 유력한 후보
리디렉션 5회 초과파일을 사용할 수 없는 것으로 볼 수 있음robots.txt 주소의 리디렉션 정리

정리하면 robots.txt에 차단 규칙이 한 줄도 없더라도, 파일 요청이 서버 오류로 끝나면 사이트 전체가 막힌 것처럼 처리될 수 있습니다. 파일 내용만 검토하고 문제없다고 판단하면 이 원인을 놓치게 됩니다.

Search Console 크롤링 통계 보고서 도움말도 같은 방향으로 설명합니다. Google은 robots.txt 요청에 429나 5xx 응답을 받으면 처음 12시간 동안 크롤링을 멈춥니다. 그 뒤 30일까지는 마지막으로 성공한 robots.txt를 사용한다고 안내합니다.

표준은 내려받은 파일을 캐시할 수 있게 하되, 캐시 사본을 24시간 넘게 쓰지 않도록 권장합니다. 그래서 robots.txt를 고친 직후에는 반영되지 않은 것처럼 보일 수 있습니다. 또 표준은 크롤러가 최소 500KiB까지 파일을 읽도록 정합니다. 실무에서는 규칙을 짧게 유지하고, 오래된 규칙은 정리하는 방법을 권합니다.

서버 오류와 연결 실패는 어디에서 생기나요?

Search Console 크롤링 통계 보고서는 호스트 가용성 문제를 세 가지로 나누어 보여 줍니다.

  • robots.txt 가져오기: robots.txt 요청이 실패한 경우
  • DNS 변환: DNS 서버가 호스트 이름을 인식하지 못하거나 응답하지 않은 경우
  • 서버 연결: 서버가 응답하지 않거나 응답이 끝까지 전송되지 않은 경우

같은 도움말은 DNS 문제라면 도메인 등록기관의 설정과 서버의 인터넷 연결을 점검하도록 안내합니다. 이 분류는 네이버 수집 오류를 볼 때도 원인을 나누는 틀로 쓸 수 있습니다.

응답 코드에서도 단서를 찾을 수 있습니다. Google 문서는 429를 서버 과부하 신호로 보고 서버 오류와 같이 취급한다고 설명합니다. 또 401이나 403을 크롤링 속도를 줄이는 용도로 쓰지 않도록 안내합니다. 보안 장비가 로봇 요청에 403을 돌려주고 있다면 속도 조절이 아니라 접근 거부로 처리된다는 뜻입니다.

실무에서는 다음 지점을 차례로 확인하는 방법을 권합니다.

  • 웹 방화벽이나 보안 장비가 짧은 시간의 반복 요청을 공격으로 보고 차단하는지
  • CDN이나 호스팅의 국가·지역 차단, 봇 차단 기능이 켜져 있는지
  • 정기 점검·백업 시간에 서버가 5xx를 내거나 응답이 지연되는지
  • 서버 이전 뒤 DNS 레코드에 옛 서버 주소가 남아 있는지

브라우저로 직접 열어 보면 정상인데 수집 오류만 반복될 때가 많습니다. 이때는 사람의 접속이 아니라 서버 접근 기록에서 로봇 요청 줄을 찾아 응답 코드를 확인해야 원인이 드러납니다.

주소 구조 때문에 수집 오류가 반복되는 경우는 무엇인가요?

서버와 robots.txt가 정상이어도 주소 설계가 오류를 만들 수 있습니다. 네이버 웹문서 수집 가이드라인에는 주소 구조와 관련된 항목이 여럿 있습니다.

  • 같은 내용은 가능하면 하나의 호스트명과 URL로 제공합니다.
  • 호스트명에는 밑줄 문자를 쓰지 않습니다.
  • JavaScript나 플래시로 리디렉션하지 않습니다.
  • 영구 변경은 301, 장애나 일시 변경은 302 리디렉션을 씁니다.
  • 사이트 구조를 알려 주는 sitemap.xml 파일을 만듭니다.

Google 문서는 크롤러가 기본적으로 리디렉션을 최대 10단계까지 따른다고 설명합니다. 리디렉션 중간 주소의 콘텐츠는 무시하고 최종 주소의 콘텐츠만 처리합니다. 연쇄 리디렉션이 길어질수록 중간 단계 하나만 깨져도 수집이 실패합니다.

실무에서 자주 보는 경우는 사이트맵에 남은 옛 주소입니다. 개편 뒤 사이트맵을 다시 만들지 않으면 404나 리디렉션 주소가 계속 제출됩니다. 그러면 로봇이 그 주소를 계속 요청하고, 같은 오류가 반복해서 기록됩니다. 사이트맵에는 최종 주소이면서 200을 반환하는 주소만 남깁니다.

원인을 좁히려면 무엇을 기록하고 어떻게 요청해야 하나요?

수집 오류는 웹 담당자가 발견하고 개발팀이나 호스팅사가 고치는 경우가 많습니다. 담당 부서가 나뉘어 있을수록 같은 양식으로 기록해야 원인 추적이 빨라집니다. 아래 항목을 오류 주소마다 한 줄씩 남깁니다.

  1. 오류가 표시된 주소 전체
  2. 관리 화면에 표시된 실패 사유 문구(바꾸지 않고 그대로)
  3. 오류 발생 날짜와 시각
  4. 같은 시각 서버 접근 기록의 응답 코드와 응답 시간
  5. robots.txt 응답 코드와 해당 경로 규칙
  6. 리디렉션 여부와 최종 도착 주소
  7. 사이트맵 포함 여부
  8. 수정 내용과 수정한 날짜

개발팀에 요청할 때는 다음 문안을 그대로 고쳐 쓸 수 있습니다.

「○월 ○일부터 네이버 서치어드바이저에서 아래 주소의 수집 오류가 반복되고 있습니다. 오류 시각은 첨부한 표와 같습니다. 해당 시각 서버 접근 기록에서 네이버 검색 로봇 요청의 응답 코드와 응답 시간을 확인해 주십시오. 같은 시각 robots.txt의 응답 코드, 그리고 보안 장비의 차단 기록도 함께 확인을 부탁드립니다. 원인을 수정하면 수정 내용과 적용 시각을 회신해 주십시오.」

수정 시각을 받으면 그 이전 오류와 이후 오류를 나누어 봅니다. 이후에 새 오류가 없다면 로봇이 다시 확인할 때까지 기다리면 됩니다. 이후에도 같은 오류가 생긴다면 다음 원인 후보로 넘어갑니다.

정리

  1. 오류 목록이 사이트 전체에 퍼져 있는지, 특정 시간대·경로에 몰리는지부터 구분합니다.
  2. robots.txt의 규칙과 함께 파일 자체의 응답 코드가 5xx인지 확인합니다.
  3. 오류 시각과 같은 시각의 서버 접근 기록, 보안 장비 차단 기록을 대조합니다.
  4. 사이트맵과 내부 링크에서 404·리디렉션 주소를 빼고 최종 주소만 남깁니다.
  5. 수정한 날짜를 기록하고, 그 뒤 새로 생긴 오류만 따로 추적합니다.

참고 자료

목록으로