구글 검색결과에서 우리 웹 페이지가 안보이는 이유는?

사이트 내 페이지 하나를 생성하는 것은 쉬운 일이 아닙니다. 기업 입장에서는 마케터 및 개발자, 웹 디자이너 등의 많은 인적, 물적 자원이 소요되는 일입니다. 이렇게 여러 사람의 노고로 만들어진 페이지가 구글 검색결과에 노출되지 않는다면 어떻게 될까요? 노출이 되지 않는다는 말은 자연유입 트래픽(Organic Traffic)으로 직결될 수 없다는 말과 동일합니다. 아무도 내 페이지를 볼 수 없다면 페이지 생성 목적 달성은 물론, 애초의 생성 이유를 상실하게 되는 것입니다. 이런 상황을 미연에 방지하기 위해서는 자연유입 트래픽이 없거나 트래킹이 불가능한 페이지가 실제로 검색결과에 노출, 즉 색인이 되는지 확인하고, 색인이 되지 않는 경우 이유를 찾아 빠른 시간 내에 개선해야 합니다.

1. 내 페이지는 구글에 정상적으로 색인되어 있을까? (구글 색인 상태 확인하기)

페이지가 생성되고 내 페이지(또는 사이트)가 검색엔진에 잘 색인되는지 확인하기 위한 방법은 아래와 같습니다.

“site: + URL” 입력으로 확인하기

가장 쉽고 빠른 방법으로 구글 검색엔진에 “site:”과 내 페이지 URL을 직접 입력해 보는 것 입니다. 예를 들어 지난 달 어센트코리아에서 업로드한 “검색엔진마케팅이란?” 블로그 포스트(URL : https://www.ascentkorea.com/seo-marketing/)가 실제로 색인이 되는지 위 방법으로 확인해 보면 다음과 같습니다.

<색인이 되는 경우>

색인이 되는 경우

“site:”과 페이지 URL로 함께 검색한 검색결과 해당 페이지는 구글 검색엔진에 잘 색인되고 있는 것으로 확인되었습니다. 또한 해당 페이지 URL의 경로로 구글에 색인되는 페이지는 단 1개이며, 결과 로딩에 0.22초가 걸린다는 점도 확인이 가능합니다.

<색인이 되지 않는 경우>

색인이 되지 않는 경우

이 글을 작성하고 있는 시점이라 아직 업로드가 되지 않은 이 페이지의 경우, “site:”과 페이지 URL로 검색 시, 다음과 같은 결과가 나옵니다.위와 같은 결과가 나오면 아직 색인이 되지 않았다는 뜻입니다. 

2. 구글 서치콘솔에서 원인 파악하기

이 글을 읽는 분들 중 마케터, 개발자 혹은 웹 디자이너라면 머리 속에 떠오르는 몇 가지 원인이 있을 것입니다. 내 페이지가 색인이 되지 않는 이유가 그 중 하나일수도 있지만 무작위로 원인을 조사하는 것보다 좀 더 효율적인 방법이 있습니다. 바로 구글 서치콘솔(Google Search Console)의 URL 검사 도구(URL Inspection Tool)를 활용하는 것입니다.

https://youtu.be/Pe_-TkdbXN0

URL 검사 도구를 활용해 원인 파악하기

URL 검사 도구는 특정 페이지의 구글 색인 생성 버전에 대한 정보를 제공하는 도구입니다. 이 정보에는 AMP 오류, 구조화된 데이터 오류, 색인 생성 문제가 포함됩니다. 이 장에서는 특정 페이지의 현재 색인 생성 문제 즉, 구글이 내 특정 페이지의 색인 여부나 색인하지 못하는 이유를 확인하는 방법을 다루고 있습니다.

STEP 1 상단의 검색창에 색인되지 못하고 있는 페이지의 URL을 입력합니다.

STEP 2 URL 검사 도구 내 검색 결과를 보고 원인을 확인합니다.

URL 검사 도구를 활용해 원인 파악하기 2단계

①    구글 색인 여부 확인

②    색인이 되고 있지 않거나, 색인은 되지만 이슈 사항이 있는 경우 이슈 확인

(사이트맵, 참조 페이지, 마지막 크롤링된 날짜 및 시간 캐노니컬 설정 현황 등)

③    특정 페이지의 AMP 또는 비 AMP 버전 및 데이터 구조에 대한 정보 제공

STEP 3 확인한 이슈사항을 해결합니다.

(“3. 구글 색인 이슈 해결을 위한 체크리스트 #1~7”)

URL 검사 도구를 활용해 원인 파악하기 3단계

3. 구글 색인 문제 해결을 위한 7가지 체크리스트

내 페이지가 구글에 색인이 되지 않을 경우 아래의 경우 중 하나일 확률이 높습니다. 구글 서치 콘솔에서 정확한 원인을 파악하고 이에 따라 이슈를 해결해 주어야 합니다.

1) robots.txt를 확인하라

robots.txt를 확인하라

Robots.txt의 역할 중 하나로, 웹사이트 내의 특정 콘텐츠, 웹페이지, 서브 폴더, 디렉토리로의 크롤러 접근 제어가 있습니다.

위 예시는 어센트코리아 사이트의 현재 robots.txt 파일입니다. 이처럼 “Disallow” 설정을 통해 외부에서 콘텐츠로의 액세스는 가능하게 하지만 검색 결과에는 나타나지 않도록 할 수 있습니다. (하지만 검색엔진 크롤링 로봇이 robots.txt 내용을 100% 반드시 따르는 것은 아닙니다) 보통 로그인 페이지처럼 개인정보 보호가 필요한 보안 페이지에 해당 설정이 이용되지만, 이런 설정이 필요 없는, 검색엔진에 반드시 색인이 되어야 하는 페이지의 경우에는 이 “Disallow” 설정을 이용할 필요는 없습니다. 기존에 설정이 되어있는 경우 해지해야 합니다.

Robots.txt에 대해 더 알아보기

2) Sitemap.XML을 확인하라

Sitemap.XML을 확인하라

먼저 내 사이트가 Sitemap.XML 파일을 가지고 있는지, 있다면 새 페이지의 URL이 업데이트되어 있는지 확인해야 합니다. Sitemap.XML은 메뉴를 통해 바로 접근할 수 없는 웹 콘텐츠 등을 정의하고 크롤링 로봇이 바로 URL에 접근할 수 있게 하는 역할을 합니다. 웹 마스터는 사이트의 모든 URL을 포함하는 사이트 맵을 작성하고 이를 구글의 서치 콘솔 같은 툴을 이용해서 검색 엔진에 등록할 수 있습니다. 이 사이트 맵이 이미 등록되어 있다면 새 페이지의 URL을 추가해 현재 사이트 맵을 업데이트한 후, 구글 서치콘솔에서 사이트맵을 재업로드하면 됩니다.

Sitemap.XML에 대해 더 알아보기

3) 중복되는 콘텐츠가 있을 경우

어떤 이유로 한 사이트 내 서로 다른 페이지가 같거나 비슷한 콘텐츠를 가지고 있을 경우, 구글은 중복되는 콘텐츠로 간주해 더 이상 색인하지 않을 수도 있습니다. 이 경우 문제 해결을 위해 하나의 메인 페이지를 표준 URL로 정하고, 나머지 중복되는 콘텐츠로 취급되는 페이지의 URL을 301 리다이렉트 설정해 주는 것이 필요합니다. 또한 이에 맞는 캐노니컬 설정(표준 URL은 자기 자신의 URL이 캐노니컬, 나머지는 표준 URL이 캐노니컬)도 함께 해야 합니다.

4) 캐노니컬 URL 설정이 정상적으로 되어 있지 않은 경우

앞에서 언급한 캐노니컬 URL 설정에 대해서 한번 더 언급하려 합니다. 이 설정 없이도 구글 검색엔진에 색인은 가능지만 구글에게 어떤 페이지가 색인되어야 하는지 알리기 위해 캐노니컬 URL 설정은 반드시 필요합니다. 페이지에 비정상적인 형태의 URL, 즉 존재하지 않는 이 페이지가 표준임을 Google에 알리게 되는 경우 페이지의 색인이 생성되지 않을 수도 있습니다. 

5) 페이지 메타 태그에 noindex 설정이 되어 있는 경우

검색엔진에 색인이 안되는 페이지의 소스 코드를 확인해 보는 것도 필요합니다. 소스 코드 내 메타 태그에 “<META NAME=”ROBOTS” CONTENT=”NOINDEX, NOFOLLOW”>” 이런 식으로 설정이 되어 있는 경우 noindex 설정을 해제해 주어야 합니다.

6) 세이프 서치 기능 혹은 개인 정보 설정이 되어있는 경우

세이프 서치 기능은 포르노 및 잠재적으로 불쾌하고 부적절한 콘텐츠의 자동 필터 역할을 하는 구글 검색 및 구글 이미지의 기능 중 하나입니다. 워드프레스 사이트라면 개인 정보 설정 여부를 고려해 볼 수 있습니다. 개인 정보 설정은 정보 보호 설정으로 검색 환경을 개선할 수 있는 기능입니다. 이러한 설정이 되어 있는 경우 간혹 색인이 되지 않는 경우가 있어 설정을 해지하고 다시 확인해 볼 수 있습니다.

7) 구글이 색인을 거부한 경우

구글의 색인 거부는 흔치 않은 일이지만 가능성이 있는 경우입니다.

구글로부터 도메인이나 동일한 도메인의 다른 페이지가 구글이 정한 룰을 위반해 패널티를 받거나 색인이 거부된 전력이 있는 경우 발생할 수 있습니다. 만약, 실제로 이런 경우로 확인되는 경우 패널티를 받기 전으로 돌아가기 위해 더 많은 노력을 해야 합니다. 

4. 결론 : 색인 여부 확인 – 이유 파악 – 문제 해결의 3단계

이렇게 색인 여부를 확인하고, 색인이 되지 않는 경우 구글 서치 콘솔을 통해 이유를 파악할 수 있습니다. 그리고 문제를 해결한 뒤, 구글 서치 콘솔에서 직접 리크롤링(Recrawling) 요청을 할 수 있습니다. 이전의 문제가 해결되고 구글봇이 판단하기에 아무 문제가 없다면 페이지는 색인 생성을 위한 대기열에 추가됩니다. 그리고 대개 1주일 이내로 검색결과에 색인되어 있는 것을 확인할 수 있습니다.

이 과정을 잘 익혀 놓으면 공들여 만들어 놓은 내 페이지가 검색결과에 나타나지 않는 불상사를 피할 수 있습니다. 오늘 말씀드린 색인 여부 확인 – 이유 파악 – 문제 해결의 3단계는 기초적인것에 가깝습니다. 구글 디벨로퍼(Google Developer)은 이 모든 과정에서 대해 상세하게 설명하고 있으니 아래 링크를 통해 참고해 주시기 바랍니다.

https://support.google.com/webmasters/answer/7474347?hl=en

URL Inspection Tool

https://support.google.com/webmasters/answer/9012289?hl=en

Ask Google to recrawl your URLs

https://developers.google.com/search/docs/advanced/crawling/ask-google-to-recrawl

Related Posts