Ascent Korea 
본 콘텐츠는 앞으로 3주간 발행될 ‘Screaming Frog SEO Spider를 활용한 Quick – Win SEO 진단 법’의 첫번째 포스트로, 웹사이트 크롤링 및 기본 메뉴편 입니다.
목차
1. 테크니컬 SEO 진단의 필요성
2. 크롤링 툴 소개
3. Screaming Frog SEO Spider를 활용한 테크니컬 SEO 진단 범위
4. 크롤링 방법
5. 크롤링 항목
6. 크롤링 결과 다운로드
1. 테크니컬 SEO 진단의 필요성
검색엔진최적화(SEO)는 크게 콘텐츠 SEO와 테크니컬 SEO로 나뉩니다.
콘텐츠 SEO는 검색자의 의도에 충분한 답을 주는 양질의 콘텐츠를 만드는 과정을 의미하고, 테크니컬 SEO는 페이지 내 소스 코드에 있는 여러 항목들을 진단하고, 누락되거나 부족한 부분을 개선하는 과정입니다.
테크니컬 SEO는 검색엔진이 더 쉽게 사이트의 콘텐츠를 크롤링하고 색인을 만드는데 도움을 줍니다.
크롤링은 검색 엔진의 로봇이 웹 공간을 떠돌며 웹 페이지를 수집하는 것을 의미하며, 색인은 수집된 페이지의 내용에 따라 주제 별로 구분하는 것입니다. 검색엔진최적화 프로세스에 대한 자세한 내용은 어센트 블로그의 <검색엔진 최적화란 무엇인가> 페이지를 참고해주세요.
따라서 고객의 의도에 충분히 답변하는 양질의 콘텐츠를 만들었다면 검색자에게 콘텐츠가 잘 닿아야하고, 검색자에게 잘 닿으려면 검색 결과 페이지에 잘 노출되어야 하므로 테크니컬 SEO의 진단은 필수입니다.
본 콘텐츠는 사이트의 테크니컬 SEO 현황을 보다 빠르게 확인하고 수정하기 위한 Quick – Win SEO 진단법을 소개하여, 누구의 도움 없이 스스로 점검해볼 수 있는 정보를 공유하고자 합니다.
2. 크롤링 툴 소개
1) SEO META in 1 CLICK
사이트의 콘텐츠가 많지 않을 경우나 일부 페이지만 진단할 경우, 구글의 확장 프로그램 하나만으로도 쉽게 점검할 수 있습니다.
SEO META in 1 CLICK은 테크니컬 SEO를 무료로 진단할 수 있는 구글 확장 프로그램으로, 크롬 웹스토어에서 설치 후 고정하면 바로 사용이 가능합니다.
설치 후 페이지에 접속하여 프로그램을 클릭하면 이미지와 같이 현재 페이지의 테크니컬 SEO 항목의 현재 상태를 확인할 수 있습니다.
Title Tag, Meta Description 뿐만 아니라 Heading Tag, Images, Social Tag의 적용 상태도 확인 가능합니다.
2) Screaming Frog SEO Spider
사이트의 전체 콘텐츠를 진단할 때는 Screaming Frog SEO Spider를 사용하여 쉽게 진단이 가능합니다.
Screaming Frog SEO Spider는 영국 Screaming Frog 사에서 개발한 SEO 진단 소프트웨어로, 다양한 항목에 대하여 크롤링이 가능하고, 커스텀 세팅을 통해 SEO 항목 외에도 크롤링 활용도가 높은 프로그램입니다.
3. Screaming Frog SEO Spider를 활용한 테크니컬 SEO 진단 범위
앞서 이야기한 것처럼 Screaming Frog SEO Spider는 사이트 전체에 대하여 크롤링이 가능하며, SEO 기본 항목 외에도 커스텀 기능을 활용하여 다양한 범위의 진단이 가능합니다.
커스텀 기능을 활용한 크롤링 방법은 3주차 콘텐츠에서 다룰 예정입니다.
본 프로그램은 유료 버전과 무료 버전이 존재합니다.
무료 버전은 500개 이내의 페이지에 대하여 수집이 가능하고 유료 버전에 비해 커스텀 기능이나 크롤링 환경 세팅 등 일부 기능이 제한됩니다.
무료 버전 만으로도 테크니컬 SEO를 진단하고 개선하는데 큰 어려움은 없으나, 사이트의 환경에 따라 유료 버전이 필요할 수 있습니다.
유료 버전의 가격은 연 149 유로 수준이라, 큰 부담 없이 활용 가능한 프로그램입니다.
4. 크롤링 방법
Screaming Frog SEO Spider에서 크롤링 방법은 크게 두 가지로 나뉩니다.
[Spider] : 크롤링 대상 URL 리스트가 존재하지 않을 경우, 사이트의 메인 페이지 URL을 입력하면 프로그램이 메인페이지로부터 뻗어 나가는 링크들을 모두 수집하여, 링크에 연결된 페이지들의 정보를 모두 수집합니다.
[List] : 크롤링 대상 URL 리스트가 존재할 경우, URL 리스트 내 페이지들의 정보만 수집할 수 있습니다.
5. 크롤링 항목
테크니컬 SEO 진단 시, 크롤링에 영향을 주는 robots.txt와 sitemap.xml 부터 인덱싱에 영향을 주는 title tag, meta description 등 기본 항목을 진단합니다.
| Status Code | Heading Tag |
| Index Status | Redirection URL |
| Title Tag | Social Tag |
| Meta Description | Image Source |
| Canonical URL | Image Alt Text |
그 중 Screaming Frog SEO Spider를 통해 진단할 항목들은 웹 페이지의 Status Code와 Index Status, Title Tag, Meta Description, Canonical URL 등 여러 항목을 진단합니다.
각 항목에 대한 설명과 진단 방법은 다음 주 두 번째 포스트에서 다룰 예정입니다.
6. 크롤링 결과 다운로드
크롤링이 완료된 후 전체 항목의 요약은 [Internal] 시트 선택 후 export, 각 항목 별로 다운받고 자 할때는 항목에 맞게 시트 선택 후 export하면 결과를 다운받을 수 있습니다.
사이트 전체의 이미지 파일을 받을 때는 [Bulk Export] – [Images] – [All Image Inlinks] 를 선택하면 사이트 내 모든 페이지에서 사용된 이미지 파일을 받을 수 있습니다.
다운로드 후 각 항목에 맞게 진단과 개선의 과정을 거치면, 테크니컬 SEO 기본 요소에 대하여 하루 안에 진단과 개선을 모두 끝낼 수 있습니다.
본 편에서는 테크니컬 SEO 진단 방법과 목적에 맞는 크롤링 툴 소개, 그리고 Screaming Frog SEO Spider를 활용한 크롤링 방법에 대해 설명드렸습니다.
다음 편은 ‘Screaming Frog SEO Spider를 활용한 Quick – Win SEO 진단 법’의 두 번째 포스트, 항목별 진단편 입니다.
다음 편에서는 테크니컬 SEO의 각 항목별 정의와 진단법, 개선 방법에 대해 설명드리도록 하겠습니다.
