검색 노출 문제는 단순히 글 품질만이 아니라 검색엔진이 사이트에 접근할 수 있는 상태인지와도 연결된다. 특히 robots.txt는 검색엔진의 접근 범위를 제어하는 파일이라서, 설정 하나만 잘못되어도 전체 페이지가 검색에서 사라질 수 있다.
이번 시리즈에서는 실제 블로그 운영자들이 자주 겪는 검색 누락 문제를 중심으로 원인과 해결 방법을 단계별로 정리한다.
robots.txt 설정 방법과 검색 차단 문제 해결
robots.txt 설정 방법 정리, 검색 노출 막히는 실수까지 함께 알아보기
블로그를 운영하다 보면 “분명 글은 있는데 검색이 안 된다”는 상황을 겪는 경우가 있다.
이때 의외로 자주 원인이 되는 것이 바로 robots.txt 설정 문제다.
특히 워드프레스를 처음 운영하는 사람들은 SEO 플러그인이나 보안 플러그인을 설치하는 과정에서 robots.txt가 자동 수정되는 경우가 많다.
심지어 설정을 건드린 기억조차 없는데 검색이 막혀 있는 사례도 있다.
robots.txt는 단순한 텍스트 파일이지만 검색엔진 입장에서는 상당히 중요한 역할을 한다.
검색봇에게 “어디까지 들어와도 되는지” 알려주는 일종의 출입 규칙 같은 개념이다.
이번 글에서는 robots.txt가 무엇인지부터 실제 설정 방법, 그리고 검색 노출을 막는 대표적인 실수까지 이해하기 쉽게 정리해본다.
robots.txt는 어떤 역할을 하는 파일일까
검색엔진은 사이트를 돌아다니며 페이지를 읽는다.
이 과정을 크롤링이라고 부른다.
그런데 사이트 운영자 입장에서는 모든 페이지를 검색에 노출하고 싶지 않을 수도 있다.
예를 들어:
관리자 페이지
로그인 페이지
테스트 페이지
임시 작업 페이지
같은 영역은 검색 결과에 굳이 나올 필요가 없다.
이럴 때 사용하는 것이 robots.txt다.
보통 사이트 주소 뒤에 아래 형태로 존재한다.
https://example.com/robots.txt
브라우저에 직접 입력하면 현재 설정 내용을 확인할 수 있다.
robots.txt 기본 구조 이해하기
처음 보면 코드처럼 보이지만 실제 구조는 단순하다.
가장 기본적인 형태는 아래와 같다.
User-agent: *
Disallow:
뜻을 해석하면:
모든 검색봇 허용
차단 경로 없음
이라는 의미다.
여기서 중요한 건 두 가지다.
User-agent
어떤 검색엔진에게 적용할지 지정한다.
User-agent: Googlebot
처럼 특정 검색봇만 지정할 수도 있다.
Disallow
접근을 막을 경로를 의미한다.
예:
Disallow: /admin/
이렇게 설정하면 admin 폴더는 크롤링하지 않는다.
가장 위험한 설정은 이것이다
실제로 검색 누락 문제에서 가장 많이 발견되는 설정이 있다.
바로 아래 코드다.
User-agent: *
Disallow: /
이 설정은 사이트 전체 접근 차단을 의미한다.
즉 검색엔진에게:
“우리 사이트 아무것도 읽지 마세요”
라고 알려주는 상태다.
생각보다 이 설정이 자주 발생한다.
특히:
개발 중 임시 차단
SEO 플러그인 실수
보안 설정 충돌
때문에 그대로 방치되는 경우가 많다.
실제 운영 중에도 한동안 검색 유입이 급감했는데 원인을 찾아보니 robots.txt 전체 차단 상태였던 사례가 있다.
워드프레스 robots.txt 설정 방법
워드프레스는 기본적으로 robots.txt를 자동 생성하는 경우가 많다.
다만 SEO 플러그인에서 수정 가능하다.
대표적으로 Rank Math 기준으로 보면:
워드프레스 관리자 접속
Rank Math SEO 이동
General Settings
Edit robots.txt
순서로 들어가면 된다.
Yoast SEO도 비슷한 기능을 제공한다.
초보 운영자라면 복잡하게 수정하기보다 기본 설정 유지가 가장 안전하다.
블로그 운영에서 자주 사용하는 설정 예시
관리자 페이지 차단
User-agent: *
Disallow: /wp-admin/
워드프레스 관리자 영역 차단.
특정 검색 페이지 차단
Disallow: /search/
사이트 내부 검색 결과 페이지 차단.
사이트맵 추가
Sitemap: https://example.com/sitemap.xml
사이트맵 위치를 함께 알려줄 수도 있다.
이 설정은 검색엔진이 사이트 구조를 더 쉽게 파악하는 데 도움이 된다.
robots.txt와 noindex는 서로 다르다
초보 운영자들이 자주 헷갈리는 부분이다.
robots.txt
→ 크롤링 자체 제한
noindex
→ 읽을 수는 있지만 검색 결과에는 제외
예를 들어 robots.txt로 페이지를 막으면 구글이 내용을 읽지 못한다.
반면 noindex는 읽은 뒤 검색 결과에서 제외한다.
그래서 SEO 관리에서는 두 개를 상황에 따라 다르게 사용한다.
robots.txt를 잘못 설정하면 생기는 현상
실제 검색 누락 사례를 보면 아래 현상이 자주 나타난다.
갑자기 전체 검색 유입 감소
사이트 전체 접근이 막힌 경우다.
특히 Disallow: / 설정이 원인인 경우가 많다.
신규 글이 색인되지 않음
구글이 페이지를 발견하지 못하는 상태다.
사이트맵 제출 오류
robots.txt가 사이트맵 접근까지 막아버리는 경우도 있다.
이미지 검색 노출 감소
이미지 폴더 차단 시 발생할 수 있다.
티스토리는 직접 수정 가능한가
티스토리는 워드프레스처럼 자유롭게 robots.txt를 수정하는 방식은 아니다.
기본 구조는 플랫폼에서 관리한다.
다만:
검색 허용 설정
메타 태그 설정
비공개 여부
같은 부분은 확인할 필요가 있다.
티스토리에서 검색 누락이 발생하는 경우는 robots.txt 자체보다:
발행 설정
비공개 상태
중복 글
품질 문제
인 경우가 더 많다.
robots.txt 검사 방법
설정 후에는 반드시 실제 접근 여부를 확인해야 한다.
가장 쉬운 방법은 브라우저에서 직접 확인하는 것이다.
https://내주소.com/robots.txt
정상적으로 열리는지 확인한다.
그리고 구글 서치콘솔의 robots.txt 검사 기능도 활용 가능하다.
특정 URL이 차단 상태인지 확인할 수 있다.
검색 차단은 최소한으로 하는 게 안전하다
초반 운영자들이 흔히 하는 실수 중 하나는 “괜히 이것저것 막는 것”이다.
하지만 실제로는 검색엔진이 읽을 수 있는 영역을 충분히 열어두는 편이 안정적이다.
특히 신규 블로그는:
페이지 수 부족
신뢰도 부족
내부 링크 부족
상태라서 지나친 차단 설정이 오히려 검색 노출에 불리하게 작용할 수 있다.
검색 제외가 꼭 필요한 페이지가 아니라면 기본 설정 유지가 가장 무난하다.
마무리
robots.txt는 단순한 파일처럼 보이지만 검색엔진 입장에서는 사이트 접근 규칙을 결정하는 중요한 요소다.
특히:
Disallow: / 설정
잘못된 차단 경로
SEO 플러그인 충돌
같은 문제는 검색 누락으로 바로 연결될 수 있다.
검색 노출이 갑자기 줄었거나 색인이 이상하게 안 되는 경우라면, 콘텐츠 문제만 보기보다 robots.txt 상태도 함께 확인하는 습관이 중요하다.
다음 글에서는
“발견됨 - 현재 색인 생성 안 됨” 상태가 왜 계속 발생하는지 실제 운영 사례 중심으로 정리해본다.
FAQ:
Q1. robots.txt를 수정하면 바로 반영되나요?
보통은 빠르게 반영되지만 검색엔진 재방문 시점에 따라 시간이 조금 걸릴 수 있다.
Q2. robots.txt만 설정하면 검색 제외가 완벽하게 되나요?
반드시 그렇지는 않다. 외부 링크가 있으면 URL 자체는 검색 결과에 나타날 수 있다.
Q3. 초보자는 robots.txt를 직접 수정하지 않는 게 좋을까요?
특별한 이유가 없다면 기본 설정 유지가 가장 안전하다. 잘못 수정하면 전체 검색 차단 문제가 발생할 수 있다.
0 댓글