Google Search Console 색인 생성 범위 보고서

Google Search Console의 색인 생성 범위를 보면 정보가 많습니다. 이 중 유의깊게 봐야 할 것과 무시해도 되는 것이 무엇인지 소개하겠습니다. 블로그 활동을 하면서 보기 어려운 에러는 생략했습니다.

아래 정보는 정상적인 포스팅을 했을 때 기준입니다. 구글이 싫어하는 포스팅을 많이 했다면 당연히 색인이 잘 안 됩니다.

Google Search Console의 색인 생성 범위 보고서에 나온 상세정보 리스트

색인 생성 보고서의 상태와 유형

주의깊게 봐야 하는 것: 오류

빨간색으로 "오류"라고 뜨는 것은 심각한 문제입니다. 사용자나 서버가 잘못했기 때문에 검색이 생성되지 않았기 때문입니다. 일반적인 블로그 활동을 하면서 볼 수 있는 오류는 아래와 같습니다.

• 서버 오류 (5xx): 서버에서 500 수준 오류(서버에 문제가 있어서 페이지를 보여줄 수 없음)가 발생합니다.
• 리디렉션 오류: 리디렉션이 잘못되었기 때문에 페이지를 보여줄 수 없습니다. 리디렉션은 어느 URL이 다른 URL로 자동으로 넘어가는 것을 의미합니다.

다른 오류도 많지만 보통 볼 만한 오류는 두 건입니다. 보통 서비스형 블로그(네이버 블로그, 티스토리, 구글 블로그 등)는 이런 오류를 볼 일이 적습니다. 설령 이 두 에러가 발생한다고 해도 블로거가 할 수 있는 조치는 없습니다.

하지만 구글 Blogger(구글 블로그)는 구글 알고리즘 업데이트를 전후해서 이런 에러가 날 수 있습니다. 글 자체가 제대로 열린다면 괜찮습니다. 나중에 재크롤링 요청을 해 주면 됩니다.

주의깊게 봐야 하는 것: 경고

경고는 단 하나입니다. "robots.txt에 의해 차단되었지만 색인이 생성됨"입니다. robots.txt는 어떤 글을 크롤링할 수 있고, 어떤 글은 못 하는지 규칙을 정해 둔 파일입니다. 역시 서비스형 블로그에선 이런 오류를 볼 일이 적습니다. 보통 이 오류가 났다면 블로거 자신이 robots.txt를 건들였기 때문입니다. Google에서 제공하는 다음 단계 가이드를 보고 추가 작업을 하시면 됩니다.

Blogger는 만든지 오래 된 블로그 위주로 이 경고가 있을 수 있습니다. Blogger의 기본 robots.txt가 바뀌면서 검색, 레이블 페이지 크롤링을 막았가 때문애, "/label" URL 위주로 이 경고가 뜰 수 있습니다. 신경쓰이신다면 Search Console에서 색인 - 삭제를 누르신 뒤 URL을 전부 제거하시면 됩니다.

주의깊게 봐야 하는 것: 제외됨

"제외됨" 자체만으로 문제가 되지는 않지만, 몇몇 상태는 한번 살펴 볼 필요가 있습니다.

 

• 크롤림됨 - 현재 색인이 생성되지 않음: 구글 봇이 방문해서 크롤링까지는 했습니다. 보통 하루이틀 뒤면 색인이 생성됩니다. 색인이 생성되지 않으면 어떤 문제가 있는지 확인해야 합니다.
  
• 발견됨 - 현재 색인이 생성되지 않음: 구글이 URL을 인식했지만 아직 크롤링은 안 한 상태입니다. 경우에 따라 크롤링이 장기간 누락될 수 있습니다.

먼저 "크롤링됨" 상태가 오래 유지되는 경우를 살펴보겠습니다. 저 같은 경우 피드 URL(/feeds/posts/)이나 아카이브 URL(/2019/01/) 등이 대부분입니다. 이런 URL은 "크롤링됨" 상태에 머물러도 큰 문제는 없습니다. 이미 블로그 포스트 그 자체가 크롤링되어 있으므로 중복해서 아카이브 URL까지 검색에 노출될 필요는 없기 때문입니다.

하지만 포스트 URL이 "크롤링됨" 상태에 머물러 있는 경우 주의가 필요합니다. 구글 알고리즘 업데이트 때문에 그럴 수도 있지만, 보통 글 자체에 문제가 있는 경도 있습니다. 구글이 "이후에 색인이 생성될 수도 있고 생성되지 않을 수도 있습니다."라고 밝힌 만큼 글 품질, 사이트 품질이 원인일 것으로 보입니다.

먼저 색인 생성 요청 한두번 정도 해 보시기 바랍니다. 그래도 색인이 생성되지 않는다면 아래 포스트를 참고하여 글에 문제가 있는 것은 아닌지 확인해 봅시다.

참고: Google 검색 핵심 업데이트, 그리고 검색 순위의 급변

이번엔 "발견됨" 상태입니다. 구글에선 "사이트가 과부하 상태가 될 수 있기 때문에 Google에서 크롤링 일정을 변경한 경우"라고 밝히고는 있지만, 항상 그런 것은 아닙니다. 경험상 Google 알고리즘이 업데이트되는 경우 순간적으로 "발견됨" 상태가 늘기도 합니다. 1~2주 동안 Google 업데이트가 끝나기를 기다린 다음 색인 생성 요청을 해 보셔도 됩니다. 경우에 따라 큰 업데이트가 있다면 몇 달간 "발견됨" 상태로 포스트가 있기도 합니다.

참고: 구글 검색 색인 요청, 11월달부터 정상화?

점검은 필요한 것: "제외됨"

• ‘NOINDEX’ 태그에 의해 차단됨: Blogger에선 'NOINDEX' 설정을 할 수 있습니다. 이 설정을 건든 것은 없는지 확인해 봅시다.
• robots.txt에 의해 차단됨: Blogger에선 robots.txt도 설정할 수 있습니다. 수동으로 robots.txt를 바꿨다면 설정이 제대로 됐는지 확인해 봅시다.
  
• 찾을 수 없음(404): 블로그 포스트 어디선가 링크를 잘못 걸었습니다. 검색 랭킹에 영향을 주지는 않습니다.
  

위쪽 2개 에러는 상황에 따라 블로그 글이 검색에 안 나오는 원인일 수도 있습니다. NOINDEX 설정, robots.txt 설정을 점검하면 해결할 수 있습니다. 검색 허용은 되어 있는지도 다시 한번 확인해봅시다.

마지막 404 에러는 무시해도 무방합니다. 하지만 사용자가 링크를 눌렀을 때 잘못된 페이지로 가게 된다는 의미입니다. URL 검사 도구를 이용해 어느 페이지에서 링크가 걸렸는지 확인할 수 있습니다. 잘못된 링크라면 링크를 삭제합니다.

아래 4개 에러는 일반적인 블로그에서 거의 발생하지 않습니다. 이 에러가 뜬다면 로그인 없이 블로그 접근이 가능한지, 블로그가 뜬다면 글은 제대로 나오는지 확인해 봅시다.

• 제출된 URL에서 soft 404가 반환됨
  
• 제출된 URL에서 승인되지 않은 요청(401)이 반환됨
• 제출된 URL이 403을 반환함
  
• 기타 4xx 문제로 인해 제출된 URL이 차단됨

신경 안 써도 되는 것: "제외됨"

이 상태는 무시하시면 됩니다. 이미 타 URL을 통해 색인이 생성되어 있기 때문입니다. 아래 5개 상태는 아무리 많아도 괜찮습니다.

• 적절한 표준 태그가 포함된 대체 페이지
• 사용자가 선택한 표준이 없는 중복 페이지
• 중복 페이지, 제출된 URL이 표준으로 선택되지 않음
• 중복 페이지, Google에서 사용자와 다른 표준을 선택함
• 리디렉션이 포함된 페이지

특히 "적절한 표준 태그가 포함된 대체 페이지"가 많은 것은 괜찮습니다. SEO가 잘 되어 있다는 증거입니다. "리디렉션이 포함된 페이지" 또한 SEO가 잘 되어 있다는 증거로 볼 수 있습니다. 한 포스트에 해당되는 URL은 여러 개일 수도 있지만, 그 중 어떤 URL을 써야 하는지 Google이 확실히 이해하고 있는 상태입니다.

나머지 3개 "제외됨"도 큰 문제가 없습니다. 비록 SEO(표준 태그 추가 등)는 부족하지만 Google은 문제 없이 페이지를 크롤링하고 색인도 만들 수 있기 때문입니다. 그냥 이런 상태가 있구나 하고 넘어가시면 됩니다.

색인 생성 범위 - 유효

블로그에 색인된 페이지가 몇 건인지 확인하는 것도 중요합니다. 갑자기 감소한다면 블로그에 문제가 있다는 신호이기 때문입니다.

일반적인 경우 "유효" 상태의 페이지가 감소하지 않습니다. Google 알고리즘 업데이트가 걸린다면 몇 건 정도 감소하기는 하지만, 며칠 지나면 원상태로 회복합니다. 만약 유효 상태의 페이지가 크게 감소한다면 아래 원인일 가능성이 큽니다.

• Google 알고리즘이 대규모로 업데이트: 알고리즘이 업데이트되면 "유효" 상태의 페이지가 줄기도 합니다. 다른 사람들도 같은 증상이 있는지 확인해 봅시다.
  
• Google의 웹마스터 가이드라인을 위반한 글 작성: 구글의 가이드라인을 위반한 글은 언제든지 색인이 지워질 수 있습니다.
  
• 실제로 글을 삭제하거나 비공개

 

취미로 하는 블로그는 상관 없지만, 블로그가 수익을 추구한다면 웹마스터 가이드라인은 한 번 쯤 읽어 볼 만 합니다. 댓글 스팸 때문에 블로그가 악영향을 받을 수 있으니 주의가 필요합니다. 블로그 관리가 뜸하다면 "댓글 검토" 기능을 켜 놓는 것도 좋습니다.

 

참고자료

• https://support.google.com/webmasters/answer/7440203?hl=ko