워드프레스 글이 구글에 검색되지 않는 이유, 색인 생성 실패와 크롤링 문제를 직접 해결법

워드프레스에 글을 정성껏 썼다. 제목도 정했고, 이미지도 넣었고, SEO 플러그인까지 설치했다.

그런데 며칠이 지나도 구글에서 내 글이 검색되지 않는다.

다른 블로거는 글을 올리고 검색 유입을 얻는 것 같은데, 내 사이트는 조용하다. 혹시 SEO 플러그인을 잘못 설정한 걸까? 구글이 내 사이트를 싫어하는 걸까? 돈을 내고 색인 서비스를 이용해야 하는 걸까?

결론부터 말하자.

구글에 글이 검색되지 않을 때 가장 먼저 할 일은 SEO 플러그인을 더 설치하는 것이 아니다. 구글이 해당 글을 발견했는지, 접근할 수 있는지, 색인할 수 있도록 허용되어 있는지부터 확인해야 한다.

문제가 기술적인 설정에 있다면 콘텐츠를 아무리 수정해도 해결되지 않을 수 있다. 반대로 기술적인 문제가 없는데도 검색되지 않는다면 콘텐츠의 독창성이나 유용성 등을 점검해야 한다.

이 글에서는 워드프레스 초보자도 직접 따라 할 수 있도록 원인 확인부터 해결까지 순서대로 설명한다.

1. 먼저 알아야 할 것: 크롤링과 색인은 서로 다른 작업이다

구글 검색 과정을 이해하면 문제를 훨씬 빨리 찾을 수 있다.

쉽게 비유해 보자. 당신이 새로운 책을 출판했다고 생각해 보자.

• 발견: 도서관 직원이 새 책이 있다는 사실을 알아낸다.

• 크롤링: 직원이 실제로 책을 가져와 내용을 살펴본다.

• 색인: 책의 내용을 정리해 도서관 검색 시스템에 등록한다.

• 검색 결과 노출: 이용자가 관련 내용을 검색했을 때 해당 책이 결과로 표시될 수 있다.

구글도 비슷한 과정을 거친다. 다만 실제 검색 시스템은 훨씬 복잡하며, 모든 페이지가 반드시 색인되는 것은 아니다.

여기서 중요한 차이가 있다.

크롤링이 되었다고 반드시 색인되는 것은 아니다. 색인되었다고 모든 검색어에서 상위에 노출되는 것도 아니다.

따라서 구글에 검색되지 않는다는 하나의 현상만 보고 원인을 단정해서는 안 된다.

2. 첫 번째 원인: 워드프레스에서 검색엔진 차단을 켜 놓았다

초보자가 가장 먼저 확인할 항목이다.

워드프레스에는 검색엔진이 사이트를 색인하지 못하도록 요청하는 설정이 있다. 개발 중인 사이트를 외부 검색에 노출하지 않기 위해 사용하는 기능이다.

문제는 사이트를 완성한 뒤에도 이 설정을 그대로 두는 경우다.

해결 방법

1. 워드프레스 관리자에 로그인한다.

2. 왼쪽 메뉴에서 설정 → 읽기로 이동한다.

3. 화면 아래쪽에서 '검색 엔진이 이 사이트를 색인하지 못하도록 차단' 항목을 찾는다.

4. 검색 노출을 원한다면 해당 체크박스가 선택되어 있지 않은지 확인한다.

5. 변경했다면 저장한다.

이 설정은 워드프레스 설치 환경과 버전에 따라 표시 방식이 조금 다를 수 있다.

주의할 점도 있다. 체크박스를 해제했다고 모든 글이 즉시 구글에 등록되는 것은 아니다. 이 설정은 색인을 가로막는 원인 중 하나를 제거하는 작업일 뿐이다.

3. 두 번째 원인: 글 주소를 구글이 발견하지 못한다

글을 발행했다고 구글이 그 주소를 즉시 알아내는 것은 아니다.

특히 새로 만든 사이트는 다른 사이트에서 연결되는 링크가 적고, 내부 링크도 부족할 수 있다.

이때 사이트맵을 확인하면 도움이 된다.

사이트맵이란 무엇인가?

사이트맵은 검색엔진이 사이트의 주요 페이지를 발견하는 데 도움을 주는 파일이다. 워드프레스에서는 설치 환경이나 SEO 플러그인에 따라 사이트맵 주소가 다를 수 있다.

대표적인 예시는 다음과 같다.

• 워드프레스 기본 사이트맵: https://내도메인/wp-sitemap.xml

• Yoast SEO에서 흔히 사용하는 주소: https://내도메인/sitemap_index.xml

• Rank Math에서 흔히 사용하는 주소: https://내도메인/sitemap_index.xml

위 주소는 예시다. 모든 사이트에서 같은 주소가 작동하는 것은 아니므로 자신의 사이트에서 실제로 생성되는 주소를 확인해야 한다.

해결 방법

1. 브라우저 주소창에 자신의 사이트맵 주소를 입력한다.

2. 사이트맵이 정상적으로 열리는지 확인한다.

3. 사이트맵 안에 최근 발행한 글의 주소가 포함되어 있는지 살펴본다.

4. 구글 서치콘솔에 접속한다.

5. 왼쪽 메뉴에서 색인 생성 → 사이트맵을 찾아 실제 사이트맵 주소를 제출한다.

6. 제출 상태와 오류 메시지를 확인한다.

사이트맵 제출은 구글에 페이지를 발견해 달라고 알려 주는 수단이지, 모든 페이지의 색인을 보장하는 기능은 아니다.

또한 사이트맵에 글이 들어 있다고 해서 해당 글이 반드시 색인되는 것도 아니다.

4. 세 번째 원인: robots.txt 또는 noindex 설정이 색인을 막고 있다

여기서부터는 조금 더 중요하다.

워드프레스 사이트가 정상적으로 열리는데도 색인되지 않는다면 검색엔진의 접근이나 색인을 막는 설정이 있는지 확인해야 한다.

robots.txt는 무엇일까?

robots.txt는 검색엔진 크롤러가 어떤 경로에 접근할 수 있는지 안내하는 파일이다.

예를 들어 다음과 같은 규칙은 사이트 전체의 크롤링을 막을 수 있다.

User-agent: *
Disallow: /

이 규칙은 모든 경로를 차단하도록 지정한 예시다. 실제 사이트에 이런 규칙이 있다면 의도적으로 설정한 것인지 먼저 확인해야 한다.

robots.txt는 보통 다음 주소에서 확인할 수 있다.

https://내도메인/robots.txt

주의: robots.txt 파일을 무작정 삭제하거나 모든 차단 규칙을 제거하지 말자. 관리자 페이지나 불필요한 경로의 크롤링을 관리하는 규칙까지 변경할 수 있기 때문이다.

noindex는 무엇일까?

noindex는 검색엔진에 해당 페이지를 색인하지 말라고 알리는 지시다.

워드프레스의 SEO 플러그인이나 페이지별 설정에서 실수로 적용될 수 있다.

페이지 소스에 다음과 같은 태그가 있다면 확인이 필요하다.

<meta name="robots" content="noindex">

이 코드는 검색엔진에 해당 페이지를 색인하지 말라고 지시하는 예시다.

noindex가 실수로 설정되었다면 해당 설정을 제거해야 한다. 반대로 관리자 페이지나 검색 결과에 노출할 필요가 없는 페이지라면 의도적으로 유지할 수 있다.

여기서 중요한 차이 하나.

robots.txt로 크롤링을 막는 것과 noindex로 색인을 막는 것은 서로 다른 기능이다. 구글이 페이지를 크롤링하지 못하면 그 안에 있는 noindex 지시를 읽지 못할 수 있다.

공식 설명: https://developers.google.com/search/docs/crawling-indexing/block-indexing

5. 네 번째 원인: 구글이 글을 방문했지만 색인하지 않았다

이 경우가 가장 답답할 수 있다.

사이트는 정상적으로 열리고, 사이트맵에도 글이 있고, 검색엔진 차단 설정도 없다. 그런데 글은 여전히 검색되지 않는다.

이때는 구글 서치콘솔에서 해당 URL의 상태를 확인해야 한다.

URL 검사 도구 사용법

1. 구글 서치콘솔에 로그인한다.

2. 확인하려는 사이트 속성을 선택한다.

3. 상단의 URL 검사 입력창에 글의 전체 주소를 붙여 넣는다.

4. 구글이 현재 파악하고 있는 색인 상태를 확인한다.

5. 필요하면 '실제 URL 테스트'를 실행해 현재 페이지에 접근할 수 있는지 확인한다.

6. 문제가 해결되었고 색인할 수 있는 페이지라면 '색인 생성 요청'을 선택한다.

URL 검사 도구에서는 현재 색인 상태, 크롤링 허용 여부, 색인 허용 여부, 구글이 선택한 대표 URL 등의 정보를 확인할 수 있다.

공식 도구: https://search.google.com/search-console

상태별로 어떻게 판단할까?

① URL이 Google에 등록되어 있지 않음

아직 색인되지 않았다는 의미다. 상세 사유를 확인해야 한다. 발견되지 않았는지, 크롤링하지 않았는지, 크롤링했지만 색인하지 않았는지에 따라 해결 방법이 달라진다.

② 발견됨 - 현재 색인이 생성되지 않음

구글이 URL을 발견했지만 아직 크롤링하지 않은 상태를 뜻한다. 새 사이트라면 기다려야 할 수 있다. 중요한 글이 내부 링크를 통해 잘 연결되어 있는지, 사이트맵에 포함되어 있는지도 확인하자.

③ 크롤링됨 - 현재 색인이 생성되지 않음

구글이 페이지를 크롤링했지만 색인하지 않은 상태다. 콘텐츠의 유용성, 중복 여부, 페이지 내용, 대표 URL 등을 점검할 필요가 있다. 이 상태만으로 콘텐츠가 나쁘다고 확정할 수는 없다.

④ 대체 페이지가 포함된 중복 페이지

비슷하거나 동일한 콘텐츠를 가진 여러 URL 가운데 구글이 다른 주소를 대표 페이지로 선택했을 수 있다. 이때는 대표 URL 설정을 확인해야 한다.

상태 문구는 서치콘솔의 실제 화면을 기준으로 판단하자. 보고서의 명칭과 세부 정보는 상황에 따라 달라질 수 있다.

6. 다섯 번째 원인: 대표 URL(canonical)이 다른 주소를 가리킨다

워드프레스에서는 같은 페이지가 여러 주소 형태로 접근될 수 있다.

예를 들어 다음 주소는 설정에 따라 서로 다른 URL로 취급될 수 있다.

• https://example.com/article/

• https://www.example.com/article/

• http://example.com/article/

실제 사이트에서 이런 주소가 모두 접근 가능하다면 어떤 URL을 대표로 사용할지 명확하게 관리해야 한다.

canonical은 검색엔진에 대표 URL을 알려 주는 신호다.

확인 방법

1. 구글 서치콘솔에서 해당 글의 URL을 검사한다.

2. '사용자가 선언한 표준 URL'을 확인한다.

3. 'Google에서 선택한 표준 URL'을 확인한다.

4. 두 주소가 다르다면 왜 다른 주소가 선택되었는지 살펴본다.

5. 실제 대표 페이지가 올바르게 지정되어 있는지, 내부 링크와 사이트맵도 그 주소를 가리키는지 확인한다.

SEO 플러그인에서 canonical을 설정할 수 있지만, 정확한 메뉴는 플러그인마다 다르다.

모든 글에 무조건 canonical 코드를 추가하거나 주소를 임의로 바꾸는 것이 정답은 아니다. 실제로 중복 URL 문제가 있을 때 올바른 대표 주소를 정하는 것이 중요하다.

공식 설명: https://developers.google.com/search/docs/crawling-indexing/canonicalization

7. 여섯 번째 원인: 사이트가 정상적으로 열리는 것 같지만 구글에는 오류를 반환한다

사람이 브라우저로 사이트를 열었을 때 정상적으로 보인다고 해서 구글 크롤러에도 항상 정상적으로 작동하는 것은 아니다.

서버가 오류를 반환하거나, 페이지가 비어 있거나, 필수 콘텐츠를 불러오지 못할 수 있다.

대표적으로 확인할 문제는 다음과 같다.

• 404 오류: 요청한 페이지를 찾을 수 없음

• 5xx 오류: 서버 측 문제로 요청을 처리하지 못함

• 리디렉션 오류: 다른 주소로 이동하는 과정에 문제가 있음

• 소프트 404: 페이지가 사실상 비어 있거나 오류처럼 보이는데도 성공 상태 코드를 반환함

직접 확인하는 방법

구글 서치콘솔의 페이지 색인 생성 보고서에서 오류가 있는 URL을 살펴본다.

해당 글이 실제로 존재하는지, 로그인 없이 접근할 수 있는지, 정상적인 콘텐츠가 표시되는지 확인한다.

페이지가 이전되었다면 적절한 301 리디렉션을 설정하고, 실제로 삭제된 페이지라면 존재하지 않는 페이지에 맞는 상태 코드를 반환해야 한다.

오류가 없는 페이지를 무작정 수정할 필요는 없다. 보고서에 표시된 실제 문제부터 해결하는 것이 좋다.

8. 일곱 번째 원인: 글이 너무 비슷하거나 독자에게 줄 정보가 부족하다

여기서 기술적인 문제와 콘텐츠 문제를 구분해야 한다.

색인을 막는 설정이 없고 페이지도 정상적으로 열리는데 색인되지 않는다면, 콘텐츠 자체를 점검할 차례다.

예를 들어 다음과 같은 글을 생각해 보자.

• 다른 사이트의 내용을 거의 그대로 바꿔 쓴 글

• 여러 글이 제목만 다르고 내용은 거의 같은 글

• 질문에 대한 답은 없고 키워드만 반복하는 글

• 실제로 확인하지 않은 내용을 확정적인 사실처럼 설명하는 글

• 제목은 거창하지만 독자가 얻을 수 있는 정보가 거의 없는 글

이런 콘텐츠는 독자에게 충분한 가치를 제공하지 못할 수 있다.

그렇다고 짧은 글은 무조건 색인되지 않는다거나, 긴 글은 반드시 색인된다는 뜻은 아니다. 글자 수만으로 색인 여부를 판단할 수 없다.

개선하는 방법

1. 글의 제목이 약속한 질문에 실제로 답하는지 확인한다.

2. 독자가 다음 행동을 할 수 있을 정도로 구체적인 설명을 제공한다.

3. 공식 자료나 신뢰할 만한 출처가 필요한 주장에는 출처를 제시한다.

4. 비슷한 글이 여러 개라면 각각의 목적과 차별점을 분명히 한다.

5. 독자가 실제로 필요로 하지 않는 내용을 늘어놓기보다 핵심 정보를 명확하게 정리한다.

SEO 플러그인 점수가 90점이라고 해서 구글 색인이 보장되는 것은 아니다. 플러그인 점수는 설정과 콘텐츠를 점검하는 참고 지표일 뿐, 구글의 색인 결정 자체를 대신하지 않는다.

9. 색인 생성 요청을 여러 번 누르면 더 빨리 등록될까?

많은 초보자가 여기서 시간을 낭비한다.

URL 검사에서 색인 생성 요청을 누르고, 다음 날 다시 누르고, 며칠 뒤 또 누른다.

하지만 요청을 반복한다고 색인이 보장되거나 처리 순서가 앞당겨지는 것은 아니다.

올바른 순서는 다음과 같다.

1. URL 검사로 실제 문제를 파악한다.

2. 색인을 막는 문제가 있다면 먼저 해결한다.

3. 사이트맵과 내부 링크를 확인한다.

4. 색인할 수 있는 페이지라면 색인 생성 요청을 한다.

5. 이후 서치콘솔에서 상태 변화를 확인한다.

구글은 크롤링이나 색인 시점을 보장하지 않는다. 새 사이트나 중요도가 낮은 페이지는 발견과 처리에 시간이 걸릴 수 있다.

따라서 하루 만에 검색되지 않는다는 이유만으로 문제가 있다고 단정하지 말자.

10. 워드프레스 색인 문제를 15분 안에 점검하는 순서

이제 복잡한 설명을 실제 작업 순서로 정리해 보자.

1단계 — 워드프레스 설정

설정 → 읽기에서 검색엔진 차단 설정이 켜져 있는지 확인한다.

2단계 — 페이지 접근

로그아웃한 상태에서도 글이 정상적으로 열리는지 확인한다.

3단계 — 사이트맵

사이트맵이 정상적으로 열리고, 해당 글의 URL이 포함되어 있는지 확인한다.

4단계 — 구글 서치콘솔

URL 검사로 해당 글의 현재 색인 상태를 확인한다.

5단계 — 크롤링 및 색인 차단

robots.txt, noindex, 서버 오류 등이 있는지 확인한다.

6단계 — 대표 URL

canonical 설정과 구글이 선택한 대표 URL이 올바른지 확인한다.

7단계 — 콘텐츠

기술적인 문제가 없다면 독창성, 정보의 정확성, 검색 의도에 대한 답변 여부를 개선한다.

8단계 — 색인 생성 요청

문제를 해결한 후 색인 생성 요청을 하고, 결과가 바뀌는지 확인한다.

15분은 기본적인 점검을 시작하기 위한 시간이지, 모든 오류를 해결하거나 색인을 완료하는 데 걸리는 시간은 아니다.

결론: 색인이 안 된다고 플러그인부터 설치하지 마라

워드프레스 글이 구글에 검색되지 않는다고 해서 무조건 SEO가 잘못된 것은 아니다.

원인은 크게 세 가지 방향에서 찾아야 한다.

첫째, 구글이 글을 발견하거나 접근하지 못하는 문제다.

둘째, robots.txt, noindex, canonical, 서버 오류처럼 크롤링이나 색인을 방해하는 기술적 문제다.

셋째, 기술적으로 접근할 수 있지만 색인되지 않은 콘텐츠의 유용성이나 중복 여부 등이다.

가장 먼저 구글 서치콘솔에서 실제 상태를 확인하자. 원인을 모른 채 플러그인을 추가하거나 사이트 설정을 무작정 변경하면 오히려 문제가 복잡해질 수 있다.

기억하자. 사이트맵 제출은 색인 보증서가 아니고, SEO 점수는 검색 순위 보증서가 아니다. 먼저 정확히 진단하고, 실제 원인을 고친 다음, 구글에 다시 확인을 요청하는 것이 올바른 순서다.

공식 자료 모음

• Google Search Console: https://search.google.com/search-console

• 구글의 색인 생성 및 크롤링 오류 해결 가이드: https://developers.google.com/search/docs/crawling-indexing/troubleshoot-crawling-errors

• 구글의 기술적 검색 요건: https://developers.google.com/search/docs/essentials/technical

• 구글의 noindex 안내: https://developers.google.com/search/docs/crawling-indexing/block-indexing

• 구글의 URL 검사 도구 설명: https://support.google.com/webmasters/answer/9012289