robots.txt를 직접 열어 확인한 것
blog.naver.com/robots.txt를 열면 이런 주석이 있습니다. 2026년 8월 25일 확인한 내용입니다.
BOT ACCESS FOR THE PURPOSES OF AI TRAINING AND RETRIEVAL-AUGMENTED GENERATION (RAG) IS STRICTLY PROHIBITED.
AI 학습과 인용을 위한 접근은 엄격히 금지한다는 뜻입니다. 해석의 여지가 없는 문장입니다. 그리고 그 아래에 차단 대상이 하나씩 나열돼 있습니다.
User-agent: GPTBot Disallow: / User-agent: OAI-SearchBot Disallow: / User-agent: PerplexityBot Disallow: / User-agent: Google-Extended Disallow: / User-agent: ClaudeBot Disallow: / User-agent: Claude-SearchBot Disallow: / User-agent: meta-externalagent Disallow: / User-agent: Applebot-Extended Disallow: / User-agent: CCBot Disallow: /
직접 확인해보실 수 있습니다. 브라우저에 주소를 그대로 치면 텍스트가 뜹니다.
나열된 이름이 무엇인지 정리하면 이렇습니다.
| 이름 | 어디 | 하는 일 |
|---|---|---|
| GPTBot | OpenAI | ChatGPT 쪽 수집 |
| OAI-SearchBot | OpenAI | 검색 답변용 수집 |
| ClaudeBot | Anthropic | Claude 쪽 수집 |
| PerplexityBot | Perplexity | 답변 출처 수집 |
| Google-Extended | AI 생성·학습 용도 | |
| CCBot | Common Crawl | 공개 웹 아카이브 |
특히 CCBot이 막힌 건 의미가 큽니다. Common Crawl은 여러 곳에서 공용으로 쓰는 공개 수집 자료라서, 여기서 빠지면 이름을 직접 나열하지 않은 다른 서비스에서도 빠질 가능성이 높습니다.
여기서 헷갈리기 쉬운 지점이 있습니다. 네이버 검색에서는 여전히 잘 나옵니다. 상위노출도 되고 유입도 들어옵니다.
막힌 건 네이버 검색이 아니라 외부 AI로 나가는 통로입니다. 사람이 네이버에서 검색하면 우리 글이 보이지만, 같은 사람이 ChatGPT에게 물으면 우리 글은 참고 대상에 없습니다.
그래서 "블로그 열심히 하는데 왜 AI엔 안 나오냐"는 질문에는 답이 정해져 있습니다. 열심히의 문제가 아니라 자리의 문제입니다.
글이 나빠서가 아닙니다. 조회수가 잘 나오는 글도 똑같이 안 읽힙니다.
아닙니다. 네이버로 들어오는 고객은 지금도 있습니다. 하던 건 그대로 하시면 됩니다.
다만 네이버가 AI 접근을 막은 건 네이버의 결정이고 우리가 바꿀 수 있는 게 아닙니다. 그러니 AI가 들어올 수 있는 자리를 하나 더 만드는 겁니다. 옮기는 게 아니라 늘리는 쪽입니다.
이미 쓴 글이 있다면 그걸 버릴 필요도 없습니다. 가장 중요한 내용의 원본을 내 도메인에 두고, 네이버에는 그대로 두거나 요약과 링크를 남기면 됩니다.
두 곳이 서로 다른 판에서 각자 일하게 되는 구조입니다.
전부 옮길 필요는 없습니다. 순서가 있습니다.
이 넷이 AI 답변에서 실제로 쓰이는 내용입니다. 반대로 일기나 근황 같은 글은 옮길 이유가 크지 않습니다.
블로그에서 조회수가 높았던 글이 아니라 문의로 이어졌던 글을 먼저 보시면 됩니다.
한국 사업자의 콘텐츠 자산은 대부분 네이버 블로그에 있습니다. 몇 년치가 쌓여 있는 경우도 많고요.
그 자산 전체가 AI 검색에서는 존재하지 않는 것과 같습니다. 이건 콘텐츠 품질의 문제가 아니라 플랫폼 정책 하나에 자산이 통째로 묶여 있었다는 문제입니다.
남의 플랫폼 위에 세워둔 것은 그 플랫폼이 규칙을 바꾸면 같이 바뀝니다. 이번 일이 그 사례입니다. 그리고 이런 일은 앞으로도 있을 수 있습니다.
그래서 결론은 단순합니다. 원본은 내가 가진 곳에 두고, 나머지는 배포처로 씁니다.
blog.naver.com/robots.txt — 위 내용 그대로 확인됩니다내도메인/robots.txt — 내 사이트는 열려 있는지robots.txt는 잠금장치가 아니라 안내문입니다. 지키는 것은 각 로봇의 정책이고 법적 강제는 아닙니다. 다만 주요 서비스들은 대체로 이 안내를 따릅니다.
그리고 열려 있다고 반드시 읽어가는 것도 아닙니다. 문을 여는 건 필요조건이지 충분조건이 아닙니다.
블로그를 접는 게 아니라 자리를 하나 더 만드는 일입니다.
내 도메인의 robots.txt는 직접 정할 수 있습니다. 지금 어떤 상태인지부터 보시면 됩니다.
무료로 상태 확인하기