llms.txt는 선택, 생성형엔진최적화의 출발점은 색인과 크롤링 허용

발행일 2026-11-03 · 넥스트티
llms.txt는 선택, 생성형엔진최적화의 출발점은 색인과 크롤링 허용

생성형엔진최적화(GEO)를 위해 llms.txt 파일을 꼭 만들 필요는 없습니다. Google은 AI 개요와 AI 모드에 나오는 데 새 AI 텍스트 파일이나 별도 마크업이 필요하지 않다고 공식 문서에서 밝힙니다. 실무에서는 기술 문서처럼 AI 도구가 자주 참고하는 사이트부터 llms.txt를 검토하는 방법을 권합니다.

llms.txt는 어떤 파일인가요?

llms.txt는 AI 에이전트(사용자 대신 웹을 읽고 작업하는 AI 프로그램)를 위한 안내 파일입니다. 사이트의 핵심 정보를 한곳에서 얻도록 돕습니다. 제안 문서는 웹페이지 전체를 해석하지 않아도 되도록 요약과 핵심 링크를 한 파일에 모으자고 설명합니다.

형식은 마크다운(간단한 기호로 제목과 목록을 표시하는 문서 형식)입니다. 반드시 있어야 하는 요소는 사이트나 프로젝트 이름을 적은 맨 위 제목 하나뿐입니다.

llms.txt는 공식 표준이 아닙니다. 2024년 9월 Jeremy Howard가 낸 공개 제안이며, 현재 원문은 2판(v2)입니다. 제안 문서는 기존 파일과 llms.txt의 역할도 구분합니다. 생성형엔진최적화 관점에서 옮기면 다음과 같습니다.

파일제안 문서가 설명하는 역할실무에서의 의미
robots.txt자동화 도구에 어떤 접근이 허용되는지 알립니다규칙을 따르는 검색·AI 크롤러에 어떤 페이지 접근을 허용할지 알립니다
sitemap.xml사이트에서 색인할 수 있는, 사람이 읽는 정보의 전체 목록입니다llms.txt가 사이트맵을 대신하지 않으므로 두 파일을 따로 운영합니다
llms.txt골라 정리한 요약과 핵심 링크 목록을 제공합니다사이트 안내 목록 역할만 하며, 접근 허용이나 색인 여부를 바꾸지 않습니다

Google AI 개요·AI 모드에 llms.txt가 필요한가요?

필요하지 않습니다. Google 검색 센터의 「AI 기능과 웹사이트」 문서가 이 질문에 직접 답합니다. AI 기능에 나오려고 새 기계 판독용 파일, AI 텍스트 파일, 마크업을 만들 필요가 없다는 설명입니다.

따로 추가해야 하는 schema.org 구조화 데이터(검색엔진이 읽는 표준 형식의 페이지 정보)도 없습니다. 조건은 페이지가 색인되어 있는지입니다. 또한 스니펫(검색 결과에 보이는 요약 문구)과 함께 표시될 수 있어야 합니다. 그 밖의 기술 요건은 두지 않습니다.

같은 문서가 권하는 기본 관리는 다음과 같습니다.

  • robots.txt와 CDN(콘텐츠를 여러 서버에서 나눠 전송하는 서비스)·호스팅 설정에서 크롤링을 허용합니다.
  • 사이트 안의 내부 링크로 페이지를 쉽게 찾을 수 있게 합니다.
  • 사용자에게 좋은 페이지 경험을 제공합니다.
  • 중요한 내용을 텍스트로 제공합니다.
  • 해당하는 경우 품질 높은 이미지와 동영상으로 텍스트를 뒷받침합니다.
  • 구조화 데이터를 화면에 보이는 글과 일치시킵니다.
  • 머천트 센터와 비즈니스 프로필 정보를 최신으로 유지합니다.

노출 범위를 줄일 때도 llms.txt를 쓰지 않습니다. nosnippet·data-nosnippet·max-snippet·noindex 같은 제어를 씁니다.

Google-Extended라는 제품 토큰도 구분할 필요가 있습니다. 제품 토큰은 robots.txt 규칙에서 접근 주체를 가리키는 이름입니다. 그라운딩은 답변 시점에 검색 색인 자료를 모델에 제공하는 과정입니다.

이 토큰은 앞으로 나올 Gemini 모델 학습과 Gemini 앱·Vertex AI의 그라운딩에 콘텐츠를 쓸지를 제어합니다. Google 크롤러 문서에 따르면 이 토큰은 Google 검색 포함 여부에 영향을 주지 않습니다. 순위 신호로도 쓰이지 않습니다.

ChatGPT·Claude 검색 노출은 어떤 설정이 정하나요?

두 서비스 모두 robots.txt의 검색용 크롤러 규칙이 노출을 좌우합니다. OpenAI 크롤러 안내 문서는 접속 주체를 용도별로 나눕니다. OAI-SearchBot은 ChatGPT 검색 기능에 사이트를 보여 주는 데 쓰입니다. GPTBot을 막으면 생성형 기초 모델 학습에 콘텐츠를 쓰지 말라는 뜻이 됩니다.

ChatGPT-User는 사용자 요청에 따라 페이지를 방문하며 웹을 자동으로 크롤링하지 않습니다. 사용자가 시작한 동작이므로 robots.txt 규칙이 적용되지 않을 수 있습니다.

OAI-SearchBot을 막은 사이트는 ChatGPT 검색 답변에 나오지 않습니다. 다만 탐색용 링크로는 표시될 수 있습니다. robots.txt를 바꾼 뒤 반영되기까지는 약 24시간이 걸릴 수 있습니다.

Anthropic 고객지원 문서도 접속 주체를 셋으로 구분합니다. ClaudeBot은 모델 학습에 쓰일 수 있는 웹 콘텐츠를 수집합니다. Claude-SearchBot은 검색 답변의 관련성과 정확도를 높이려고 콘텐츠를 분석합니다. Claude-User는 사용자가 질문할 때 사이트에 접근합니다.

Claude-SearchBot이나 Claude-User를 막으면 사용자 검색에서 사이트 노출이 줄 수 있습니다. 제어 수단은 최상위 경로의 robots.txt입니다. 세 서비스의 문서 내용을 한 줄씩 비교하면 다음과 같습니다.

서비스문서가 밝힌 노출 조건점검할 제어 수단
Google AI 개요·AI 모드색인되어 있고 스니펫과 함께 표시될 수 있는 페이지Googlebot 허용, noindex·nosnippet 설정
ChatGPT 검색OAI-SearchBot이 접근할 수 있는 사이트robots.txt의 OAI-SearchBot 규칙
Claude 검색Claude-SearchBot·Claude-User가 접근할 수 있는 사이트최상위 경로 robots.txt의 해당 규칙

llms.txt를 만들 가치가 있는 사이트는 어디인가요?

판단의 핵심은 AI 도구가 이 사이트의 문서를 통째로 읽어 갈 일이 많은지입니다. 사용자가 AI 도구에 「이 제품 설명서를 참고해 설정 방법을 알려 달라」고 요청할 만한 사이트라면 만들 가치가 있습니다. 홍보 페이지 중심 사이트라면 색인·텍스트·크롤링 점검이 더 직접적인 작업입니다.

아래 표는 공식 문서의 기준이 아니라 운영 판단 예시입니다.

사이트 상황실무 권장 우선순위먼저 할 일
API·제품 매뉴얼·기술 문서가 많은 사이트높음문서별 마크다운 판본과 함께 llms.txt를 작성합니다
SaaS·B2B 서비스 소개 사이트중간기능·요금·도입 절차 페이지를 정비한 뒤 핵심 페이지 목록으로 작성합니다
기업 홍보·브랜드 사이트(페이지 수십 개 이하)낮음색인 상태와 회사·제품 정보의 텍스트 제공 여부를 점검합니다
쇼핑몰낮음상품 정보를 텍스트로 제공하고 머천트 센터 정보를 최신으로 맞춥니다
블로그·뉴스 매체낮음내부 링크와 크롤링 허용 상태를 점검합니다
robots.txt가 AI 검색 크롤러를 막고 있는 사이트낮음(robots.txt 정리 후 검토)검색용 크롤러 규칙부터 정리합니다

llms.txt는 어떤 순서로 작성하나요?

제안 문서에 따르면 파일은 사이트 최상위 경로(/llms.txt)에 둘 수 있습니다. 하위 경로에 두어 그 아래 페이지를 다루게 할 수도 있습니다. 여러 파일이 해당되면 에이전트는 가장 구체적인 파일을 써야 한다고 설명합니다.

아래 예시 칸은 가상의 ○○산업을 가정한 문안입니다. 줄 단위로 옮겨 쓸 수 있습니다.

순서구성 요소예시 줄(가상의 ○○산업)
1맨 위 제목(반드시 있어야 함). 샵 기호 하나로 시작합니다# ○○산업 제품 기술 문서
2요약(선택). 꺾쇠 기호로 시작합니다> 산업용 펌프 3개 제품군의 설치·점검·부품 교체를 안내합니다.
3상세 설명(선택). 소제목 없는 일반 문단입니다모든 수치는 최신 제품 설명서 기준입니다. 단종 모델은 Optional 항목에 둡니다.
4소제목(선택). 샵 기호 두 개로 시작합니다## 설치 안내
5링크 항목. 하이픈 → [문서 이름] → (주소) → 콜론 뒤 설명문서 이름 「A형 펌프 설치」, 설명 「제품군별 설치 순서와 필요한 공구」
6건너뛰어도 되는 링크 묶음(선택)## Optional

링크 설명에는 그 페이지가 답하는 질문을 한 줄로 적는 방법을 권합니다. 제안 문서는 각 페이지의 마크다운 판본을 같은 주소로 제공하라고 권합니다. 원래 주소 끝에 .md를 붙이거나, 확장자를 .md로 바꾸는 방식입니다. 파일명이 없는 주소는 index.html.md 또는 index.md를 붙입니다.

제안 문서는 이런 연결을 HTML link 요소나 HTTP Link 응답 헤더로도 제공할 수 있다고 설명합니다.

운영 사례로 Anthropic 개발자 문서의 llms.txt를 참고할 수 있습니다. 문서를 주제별 소제목으로 묶고, 각 페이지의 마크다운 판본 링크를 나열합니다. 일부 항목에만 짧은 설명을 붙였습니다. 파일 끝에서는 전체 문서를 담은 llms-full.txt를 더 상세한 자료로 안내합니다.

문서가 많지 않은 사이트라면 맨 위 제목·요약·핵심 링크 목록만으로 시작하는 편이 관리하기 쉽습니다.

올린 뒤 관리할 항목은 무엇인가요?

  1. robots.txt와 충돌하는지 확인합니다. llms.txt에 넣은 페이지를 robots.txt가 막고 있으면 안내와 접근 규칙이 어긋납니다.
  2. 화면에 보이는 내용과 같은 사실만 적습니다. 구조화 데이터를 화면 글과 맞추라는 Google 권고와 같은 원리입니다.
  3. 페이지를 추가하거나 지울 때 함께 고칩니다. 담당자와 갱신 주기를 운영 문서에 적습니다.
  4. 서버 접속 기록으로 파일이 실제로 읽히는지 매월 기록합니다.

월별 기록은 다음 양식을 옮겨 쓰면 됩니다. ○는 실제 수치를 넣을 자리이며 예시는 가상입니다. 마지막 행은 llms.txt의 효과가 아닙니다. 같은 달 사이트 전반의 상태를 함께 보려는 기본 수치입니다.

항목기록 예시(가상)
점검 월2026년 11월
llms.txt를 요청한 접속 주체OAI-SearchBot ○회, Claude-SearchBot ○회, 그 밖의 AI 접속 주체 ○회(서버 접속 기록의 사용자 에이전트, 즉 접속 프로그램 이름표 기준)
파일 수정 내역신규 문서 ○건 추가, 단종 문서 ○건을 Optional로 이동
robots.txt 충돌 여부충돌 없음
같은 달 함께 기록하는 기본 점검 수치(llms.txt와 별개)서치 콘솔 색인 페이지 ○개 → ○개

정리

  1. 서치 콘솔에서 핵심 페이지가 색인되어 있는지 확인합니다.
  2. robots.txt가 Googlebot, OAI-SearchBot, Claude-SearchBot을 막고 있지 않은지 확인합니다.
  3. 회사·제품 핵심 정보가 이미지가 아닌 텍스트로 제공되는지 점검합니다.
  4. 기술 문서나 매뉴얼이 많은 사이트라면 위 구성표에 맞춰 llms.txt 초안을 작성합니다.
  5. 파일을 올린 뒤에는 매월 접속 기록과 수정 내역을 기록 양식에 남깁니다.

참고 자료

목록으로