정 예은 
사이트 내 페이지 하나를 생성하는 것은 쉬운 일이 아닙니다.
마케터와 개발자, 웹 디자이너 등의 많은 인적, 물적 자원이 소요되는 일입니다.
이렇게 여러 사람의 노고로 만들어진 페이지가 구글 검색 결과에 노출되지 않는다면 어떨까요?
노출이 되지 않는다는 말은 자연유입 트래픽(Organic Traffic)이 발생하지 않는다는 말과 같습니다.
아무도 내 페이지를 볼 수 없다면 페이지 생성 목적 달성은 물론이고, 페이지 생성 이유 자체를 상실하게 되는 것입니다. 이런 상황을 미연에 방지하기 위해서는 자연유입 트래픽이 없거나 트래킹이 불가능한 페이지가 실제로 검색결과에 노출이 되는지(색인이 되었는지) 확인하고, 색인이 되지 않는 경우 이유를 찾아 빠른 시간 내에 개선해야 합니다.
1. 내 페이지는 구글에 정상적으로 색인되어 있을까?
(구글 색인 상태 확인하기)
페이지가 생성된 후, 내 페이지(또는 사이트)가 검색엔진에 잘 색인 되고 있는지 확인하는 방법은 아래와 같습니다.
“site: + URL” 입력으로 확인하기
가장 쉽고 빠른 방법으로 구글 검색엔진에 “site:”과 내 페이지 URL을 직접 입력해 보는 것 입니다.
예를 들어 어센트코리아 블로그의 “검색엔진마케팅이란?” 블로그 포스트가 색인이 되고 있는지 위 방법으로 확인해 보면 다음과 같습니다.
(URL : https://www.ascentkorea.com/seo-marketing/)
<색인이 되는 경우>
“site:”과 페이지 URL로 함께 검색한 결과 해당 페이지는 구글 검색엔진에 잘 색인되고 있는 것으로 확인되었습니다. 또한 해당 페이지 URL의 경로로 구글에 색인되는 페이지는 단 1개이며, 결과 로딩에 0.27초가 걸린다는 점도 확인이 가능합니다.
<색인이 되지 않는 경우>
색인이 되지 않은 페이지의 경우 “site:”과 페이지 URL로 검색 시, 위와 같은 결과가 나옵니다.
위와 같이 일치하는 검색 결과가 없음으로 나온다면 아직 색인이 되지 않았다는 뜻입니다.
2. 구글 서치콘솔에서 원인 파악하기
이 글을 읽고 있는 마케터, 개발자, 웹 디자이너라면 머릿속에 떠오르는 몇 가지 원인이 있을 것입니다.
내 페이지가 색인이 되지 않는 이유가 그중 하나일 수도 있지만, 무작위로 원인을 조사하는 것보다 좀 더 효율적으로 원인을 찾는 방법이 있습니다.
바로 구글 서치콘솔(Google Search Console)의 URL 검사 도구(URL Inspection Tool)를 활용하는 것입니다.
(참고 영상: https://youtu.be/Pe_-TkdbXN0)
URL 검사 도구를 활용해 원인 파악하기
URL 검사 도구는 특정 페이지의 구글 색인 생성 버전에 대한 정보를 제공하는 도구입니다.
AMP 오류, 구조화된 데이터 오류, 색인 생성 문제 등의 정보를 제공하고, URL의 생성 가능 여부를 테스트하는데 사용됩니다.
이 글에서는 URL 검사 도구를 사용해 특정 페이지의 현재 색인 생성 문제를 확인하는 방법,
즉 ,구글이 내 특정 페이지를 색인 했는지 혹은 색인 하지 못하는 이유가 무엇인지 확인하는 방법을 알아보겠습니다.
STEP 1 상단의 검색창에 색인되지 못하고 있는 페이지의 URL을 입력합니다.
STEP 2 URL 검사 도구 내 검색 결과를 보고 원인을 확인합니다.
① 구글 색인 여부 확인
② 색인이 되고 있지 않거나, 색인은 되지만 이슈 사항이 있는 경우 이슈 확인
(사이트맵, 참조 페이지, 마지막 크롤링된 날짜 및 시간 캐노니컬 설정 현황 등)
③ 특정 페이지의 AMP 또는 비 AMP 버전 및 데이터 구조에 대한 정보 제공
STEP 3 확인한 이슈사항을 해결합니다.
(“3. 구글 색인 이슈 해결을 위한 체크리스트 #1~7”)
3. 구글 색인 문제 해결을 위한 7가지 체크리스트
내 페이지가 구글에 색인이 되지 않을 경우 아래의 경우 중 하나일 확률이 높습니다.
구글 서치 콘솔에서 정확한 원인을 파악하고 이에 따라 이슈를 해결해 주어야 합니다.
1) robots.txt를 확인하라
Robots.txt의 역할로는 웹사이트 내의 특정 콘텐츠, 웹페이지, 서브 폴더, 디렉토리로의 크롤러 접근 제어가 있습니다.
위 예시는 어센트코리아 사이트의 현재 robots.txt 파일입니다.
일반적으로 도메인 뒤에 robots.txt를 입력해 확인 할 수 있습니다.
“Disallow” 설정을 통해 외부에서 콘텐츠로의 액세스는 가능하게 하지만 검색 결과에는 나타나지 않도록 할 수 있습니다. (하지만 검색엔진 크롤링 로봇이 robots.txt 내용을 100% 반드시 따르는 것은 아닙니다.)
보통 로그인 페이지처럼 개인정보 보호가 필요한 보안 페이지에 해당 설정이 이용되지만,
이런 설정이 필요 없는 페이지, 즉 검색엔진에 반드시 색인이 되어야 하는 페이지에 이 “Disallow” 설정이 되어 있는 경우에는 설정을 해제(수정)해야 합니다.
2) Sitemap.XML을 확인하라
먼저 내 사이트가 Sitemap.XML 파일을 가지고 있는지, 있다면 새 페이지의 URL이 업데이트되어 있는지 확인해야 합니다.
Sitemap.XML은 메뉴를 통해 바로 접근할 수 없는 웹 콘텐츠 등을 정의하고 크롤링 로봇이 바로 URL에 접근할 수 있게 하는 역할을 합니다. 웹 마스터는 사이트의 모든 URL을 포함하는 사이트 맵을 작성하고 이를 구글의 서치 콘솔 같은 툴을 이용해서 검색 엔진에 등록할 수 있습니다. 이 사이트 맵이 이미 등록되어 있다면 새 페이지의 URL을 추가해 현재 사이트 맵을 업데이트한 후, 구글 서치콘솔에서 사이트맵을 재업로드하면 됩니다.
3) 중복되는 콘텐츠가 있을 경우
어떤 이유로 한 사이트 내 서로 다른 페이지가 같거나 비슷한 콘텐츠를 가지고 있을 경우, 구글은 중복되는 콘텐츠로 간주해 더 이상 색인하지 않을 수도 있습니다.
이러한 경우에는, 원본 페이지의 역할을 하는 하나의 페이지를 정해 해당 페이지의 URL을 표준 URL로 정하고, 나머지 페이지는 중복되는 콘텐츠로 여겨 해당 페이지의 URL을 301 리다이렉트 설정해 주는 것이 필요합니다. 또한 이에 맞는 캐노니컬 URL도 함께 설정해야 합니다.
이때, 표준 URL은 자기 자신의 URL을 캐노니컬 URL로, 나머지는 표준 URl을 캐노니컬 URL로 설정합니다.
4) 캐노니컬 URL 설정이 정상적으로 되어 있지 않은 경우
앞에서 언급한 캐노니컬 URL 설정에 대해서 한번 더 언급하려 합니다.
이 설정 없이도 구글 검색엔진에 색인은 가능지만 구글에게 어떤 페이지가 색인 되어야 하는지 알리기 위해 캐노니컬 URL 설정은 반드시 필요합니다. 페이지에 비정상적인 형태의 URL, 즉 존재하지 않는 이 페이지가 표준임을 Google에 알리게 되는 경우 페이지의 색인이 생성되지 않을 수도 있습니다.
캐노니컬 태그에 대한 자세한 내용은 아래글을 참고해주세요.
어센트 블로그 “캐노니컬 태그의 다양한 역할 이해하고 활용하기”
5) 페이지 메타 태그에 noindex 설정이 되어 있는 경우
검색엔진에 색인이 안되는 페이지의 소스 코드를 확인해 보는 것도 필요합니다. 소스 코드 내 메타 태그에 “<META NAME=”ROBOTS” CONTENT=”NOINDEX, NOFOLLOW”>” 이런 식으로 설정이 되어 있는 경우 noindex 설정을 해제해 주어야 합니다.
6) 세이프 서치 기능 혹은 개인 정보 설정이 되어있는 경우
세이프 서치 기능은 포르노 및 잠재적으로 불쾌하고 부적절한 콘텐츠의 자동 필터 역할을 하는 구글 검색 및 구글 이미지의 기능 중 하나입니다.
워드프레스 사이트라면 개인 정보 설정 여부를 고려해 볼 수 있습니다. 개인 정보 설정은 정보 보호 설정으로 검색 환경을 개선할 수 있는 기능입니다. 이러한 설정이 되어 있는 경우 간혹 색인이 되지 않는 경우가 있어 설정을 해지하고 다시 확인해 볼 수 있습니다.
7) 구글이 색인을 거부한 경우
구글의 색인 거부는 흔치 않은 일이지만 가능성이 있는 경우입니다.
구글로부터 도메인이나 동일한 도메인의 다른 페이지가 구글이 정한 룰을 위반해 패널티를 받거나 색인이 거부된 전력이 있는 경우 발생할 수 있습니다. 만약, 실제로 이런 경우로 확인되는 경우 패널티를 받기 전으로 돌아가기 위해 더 많은 노력을 해야 합니다.
4. 결론 : 색인 여부 확인 – 이유 파악 – 문제 해결의 3단계
이렇게 색인 여부를 확인하고, 색인이 되지 않는 경우 구글 서치 콘솔을 통해 이유를 파악할 수 있습니다
그리고 문제를 해결한 뒤, 구글 서치 콘솔에서 직접 리크롤링(Recrawling) 요청을 할 수 있습니다.
이전의 문제가 해결되고 구글봇이 판단하기에 아무 문제가 없다면 페이지는 색인 생성을 위한 대기열에 추가됩니다. 그리고 대개 1주일 이내로 검색결과에 색인되어 있는 것을 확인할 수 있습니다.
이 과정을 잘 익혀 놓으면 공들여 만들어 놓은 내 페이지가 검색 결과에 나타나지 않는 불상사를 피할 수 있습니다. 오늘 말씀드린 색인 여부 확인 – 이유 파악 – 문제 해결의 3단계는 기초적인 것에 가깝습니다.
구글 디벨로퍼(Google Developer)에서 이 모든 과정에서 대해 상세하게 설명하고 있으니 아래 링크를 통해 참고해 주시기 바랍니다.
“Why is my page missing from Google Search?“
https://support.google.com/webmasters/answer/7474347?hl=en
“URL Inspection Tool“
https://support.google.com/webmasters/answer/9012289?hl=en
“Ask Google to recrawl your URLs“
https://developers.google.com/search/docs/advanced/crawling/ask-google-to-recrawl
