구글 서치콘솔에 크롤링 오류가 발생하는 경우, 주로 404(찾을 수 없음) 또는 5xx(서버 오류)와 같은 HTTP 상태 코드를 포함하는 보고서가 확인됩니다. 이러한 오류는 웹사이트의 색인 생성 및 검색 순위에 부정적인 영향을 미치므로, 구글 서치콘솔의 색인 생성 범위 보고서를 통해 오류 유형을 식별하고 24시간에서 72시간 이내에 진단 및 해결하는 것이 중요합니다.
왜 이런 일이 생기나요?
웹사이트 크롤링 오류는 여러 가지 원인으로 발생할 수 있으며, Googlebot이 웹페이지에 접근하거나 내용을 이해하는 데 방해가 될 때 주로 나타납니다. 주요 원인은 다음과 같습니다.
- 서버 문제: 웹사이트 호스팅 서버가 다운되거나 응답 시간이 너무 길어지면, Googlebot이 페이지에 접근하지 못하여 5xx 계열의 서버 오류가 발생합니다. 이는 서버 과부하, 잘못된 서버 구성, 또는 네트워크 문제로 인해 발생할 수 있습니다.
- 잘못된 URL 또는 깨진 링크: 삭제된 페이지를 가리키는 내부 또는 외부 링크, 또는 URL 오타로 인해 Googlebot이 존재하지 않는 페이지를 찾으려 할 때 404(찾을 수 없음) 오류가 발생합니다. 리디렉션 설정이 잘못된 경우에도 문제가 발생합니다.
- robots.txt 파일 설정 오류: robots.txt 파일은 검색 엔진 크롤러에게 웹사이트의 어느 부분을 크롤링할지 지시하는 파일입니다. 이 파일에서 중요한 페이지나 리소스(CSS, JavaScript 파일 등)를 실수로 차단하면 Googlebot이 해당 페이지를 크롤링하지 못하여 색인 생성에서 제외되거나 콘텐츠를 완전히 렌더링하지 못하는 문제가 발생합니다.
- 사이트맵(Sitemap) 문제: 사이트맵에 존재하지 않는 URL이 포함되어 있거나, 사이트맵 파일 자체가 올바르게 구성되지 않은 경우 Googlebot이 웹사이트의 페이지 구조를 정확히 파악하는 데 어려움을 겪을 수 있습니다.
- 콘텐츠 중복 또는 품질 저하: 유사하거나 거의 동일한 콘텐츠가 여러 URL에서 제공되는 경우 Googlebot은 어떤 페이지를 우선적으로 색인 생성해야 할지 혼란을 겪을 수 있습니다. 이는 크롤링 예산을 비효율적으로 사용하게 하고, 경우에 따라 ‘소프트 404’ 오류로 이어질 수 있습니다.
- 잘못된 캐노니컬(Canonical) 태그 사용: 캐노니컬 태그는 중복 콘텐츠 문제를 해결하기 위해 검색 엔진에 선호하는 URL을 알려주는 역할을 합니다. 이 태그를 잘못 사용하면 Googlebot이 올바른 페이지를 색인 생성하지 못하거나 오류로 간주할 수 있습니다.
- 웹사이트 구조 또는 탐색의 복잡성: 웹사이트 구조가 너무 복잡하거나, 중요한 페이지에 접근하기 위한 내부 링크가 부족한 경우 Googlebot이 해당 페이지를 발견하고 크롤링하는 데 어려움을 겪을 수 있습니다.
해결 방법 단계별
- Google Search Console 크롤링 오류 보고서 확인
- Google Search Console에 로그인합니다.
- 왼쪽 메뉴에서 ‘색인 생성’ > ‘색인 생성 범위’를 클릭합니다.
- 보고서에서 ‘오류’ 탭을 확인하여 현재 웹사이트에 발생하고 있는 크롤링 오류 유형과 영향을 받는 URL 목록을 파악합니다. 주로 ‘찾을 수 없음(404)’, ‘서버 오류(5xx)’, ‘차단됨(robots.txt에 의해)’ 등의 오류가 나타납니다.
- 각 오류 유형을 클릭하여 상세한 정보를 확인하고, ‘URL 검사’ 도구를 사용하여 개별 URL의 상태를 직접 검사합니다.
- URL 검사 도구 활용
- 오류가 발생한 특정 URL을 Google Search Console 상단의 검색창에 입력하여 URL 검사를 실행합니다.
- 검사 결과에서 ‘Google 색인’ > ‘페이지 가져오기’ 섹션을 확인하여 Googlebot이 페이지를 성공적으로 가져올 수 있는지, 그리고 페이지 렌더링에 문제가 없는지 확인합니다.
- ‘색인 생성 허용 여부’ 항목에서 ‘예’로 표시되는지 확인하고, ‘크롤링 허용 여부’에서 ‘예’로 표시되는지 확인합니다. 만약 ‘아니요’로 표시되면, robots.txt 파일이나 noindex 메타 태그의 설정을 점검해야 합니다.
- 문제가 발견되면 해당 문제를 수정합니다. 수정이 완료되면 ‘색인 생성 요청’ 버튼을 클릭하여 Googlebot에 재크롤링을 요청합니다.
- robots.txt 파일 점검 및 수정
- 웹사이트의 robots.txt 파일(일반적으로 ‘도메인/robots.txt’ 경로)에 접속하여 내용을 확인합니다.
- 의도치 않게 중요한 페이지나 CSS, JavaScript 파일과 같은 리소스를 ‘Disallow’ 지시어로 차단하고 있는지 확인합니다. 예를 들어, ‘User-agent: * Disallow: /’와 같이 모든 크롤링을 차단하는 지시어가 설정되어 있다면 심각한 문제입니다.
- 구글 서치콘솔의 ‘설정’ > ‘robots.txt 테스터’ 도구를 사용하여 robots.txt 파일의 구문 오류를 확인하고, 특정 URL이 Googlebot에 의해 차단되는지 여부를 테스트합니다.
- 필요한 경우 robots.txt 파일을 수정하고 웹 서버에 업로드합니다.
- 사이트맵(Sitemap) 오류 진단 및 재제출
- Google Search Console의 ‘색인 생성’ > ‘사이트맵’ 섹션으로 이동합니다.
- 제출된 사이트맵 목록에서 ‘오류’ 또는 ‘경고’ 상태가 표시되는지 확인합니다.
- 사이트맵에 포함된 URL이 올바른지, 삭제되었거나 존재하지 않는 페이지를 포함하고 있지 않은지 확인합니다.
- 사이트맵 파일 자체의 XML 구문에 오류가 없는지 확인합니다. 사이트맵은 50,000개 이상의 URL을 포함하거나 파일 크기가 50MB를 초과할 경우 여러 파일로 분할해야 합니다.
- 문제를 수정한 후 ‘사이트맵 제출’ 버튼을 사용하여 업데이트된 사이트맵을 다시 제출합니다.
- 서버 상태 및 호스팅 환경 점검
- 5xx 계열의 서버 오류(예: 500 내부 서버 오류, 503 서비스 이용 불가)가 자주 발생한다면, 웹 호스팅 제공업체에 문의하여 서버 로그를 확인하고 서버의 성능 및 안정성을 점검해야 합니다.
- 과도한 트래픽으로 인한 서버 과부하, 데이터베이스 문제, 웹 서버 소프트웨어 구성 오류 등이 원인일 수 있습니다. 웹사이트의 로딩 속도와 응답 시간을 개선하기 위한 조치도 병행합니다.
- CDN(콘텐츠 전송 네트워크) 사용을 고려하여 서버 부하를 분산하고 응답 속도를 개선할 수 있습니다.
- 내부 및 외부 링크 유효성 확인 및 수정
- 웹사이트 내의 모든 내부 링크와 외부 링크가 올바른 대상 페이지로 연결되는지 확인합니다. Broken Link Checker와 같은 도구를 사용하여 깨진 링크를 찾아낼 수 있습니다.
- 404 오류가 발생하는 페이지의 경우, 해당 페이지가 더 이상 필요 없다면 관련 링크를 제거하거나, 대체 페이지로 301 리디렉션(영구 이동)을 설정하여 사용자와 Googlebot을 올바른 위치로 안내합니다. 일시적인 페이지 이동에는 302 리디렉션(임시 이동)을 사용합니다.
- 소프트 404 오류 처리
- ‘소프트 404’는 페이지가 실제로 존재하지 않지만 서버가 200 OK 상태 코드를 반환하는 경우를 의미합니다. 이는 Googlebot에 혼란을 주어 크롤링 예산을 낭비하고 잘못된 페이지를 색인 생성할 수 있습니다.
- 존재하지 않는 페이지는 반드시 404 Not Found 또는 410 Gone 상태 코드를 반환하도록 설정합니다. 사용자에게는 유용한 정보나 다른 페이지로의 링크를 포함하는 커스텀 404 페이지를 제공합니다.
- 중복 콘텐츠 및 캐노니컬 태그 확인
- 웹사이트 내에 동일하거나 매우 유사한 콘텐츠가 여러 URL에서 제공되는 경우, Googlebot이 어떤 페이지를 ‘원본’으로 간주해야 할지 혼란을 겪을 수 있습니다.
- 중복 콘텐츠가 있는 페이지에는 `` 태그를 사용하여 검색 엔진에 선호하는 URL을 명시적으로 알려줍니다. 이 태그는 `` 섹션에 배치해야 합니다.
- 모바일 사용 편의성 및 로딩 속도 최적화
- 모바일 친화적이지 않거나 로딩 속도가 느린 웹사이트는 Googlebot의 크롤링 효율성을 저하시킬 수 있습니다.
- 구글 서치콘솔의 ‘모바일 사용 편의성’ 보고서와 Google PageSpeed Insights 도구를 사용하여 웹사이트의 모바일 최적화 상태와 로딩 속도를 점검하고 개선합니다. CSS, JavaScript, 이미지 파일 최적화 등을 통해 로딩 속도를 향상시킵니다.
- 오류 수정 후 유효성 검사 요청
- 모든 오류를 수정한 후에는 Google Search Console의 ‘색인 생성 범위’ 보고서로 돌아가서 해당 오류 유형을 클릭하고 ‘유효성 검사 시작’ 버튼을 클릭합니다.
- Google은 약 며칠에서 몇 주에 걸쳐 수정 사항을 재크롤링하고 검토하며, 오류가 성공적으로 해결되면 ‘성공’ 상태로 변경됩니다.
Googlebot의 크롤링은 웹사이트의 변경 사항을 즉시 반영하지 않을 수 있습니다. 오류 수정 후 Google Search Console의 보고서에 반영되기까지는 일반적으로 24시간에서 72시간 이상의 시간이 소요될 수 있습니다. 정기적으로(예: 주 1회) 서치콘솔 보고서를 확인하여 새로운 오류 발생 여부를 점검하는 것이 좋습니다.
크롤링 오류 유형 비교표
| 항목 | 404 Not Found (찾을 수 없음) | 5xx Server Error (서버 오류) | 소프트 404 (Soft 404) |
|---|---|---|---|
| HTTP 상태 코드 | 404 | 500, 502, 503, 504 등 | 200 OK (하지만 내용 없음) |
| 일반적인 원인 |
|
|
|
| 해결 방안 |
|
|
|
자주 묻는 질문(FAQ)
A. 크롤링 오류는 웹사이트의 SEO에 여러 가지 부정적인 영향을 미칩니다. 첫째, Googlebot이 페이지를 제대로 크롤링하지 못하면 해당 페이지는 검색 결과에 색인되지 않거나 이미 색인된 경우 순위가 하락할 수 있습니다. 둘째, 오류 페이지에 불필요한 크롤링 예산을 소모하게 하여 다른 중요한 페이지의 크롤링을 방해할 수 있습니다. 셋째, 사용자가 오류 페이지에 도달할 경우 사용자 경험이 저하되어 이탈률이 증가하고 웹사이트의 신뢰도가 손상될 수 있습니다. 이러한 문제들은 전반적인 웹사이트의 가시성과 검색 순위에 악영향을 미칩니다.
A. robots.txt 파일과 noindex 메타 태그는 모두 검색 엔진의 웹사이트 처리 방식에 영향을 미치지만, 작동 방식에 차이가 있습니다. robots.txt 파일은 Googlebot과 같은 검색 엔진 크롤러에게 특정 파일이나 디렉터리를 크롤링하지 말라고 지시하여, 크롤링 자체를 차단합니다. 반면, noindex 메타 태그(`<meta name=”robots” content=”noindex”>`)는 Googlebot이 해당 페이지를 크롤링하는 것을 허용하지만, 검색 엔진 색인에서 제외하도록 지시합니다. 즉, robots.txt는 ‘들어오지 마세요’이고, noindex는 ‘들어와서 보되, 색인에 올리지는 마세요’와 같습니다. 민감한 정보나 검색 결과에 표시되지 않아야 할 페이지의 경우, noindex 태그를 사용하는 것이 더 안전합니다.
A. 주요 크롤링 오류(예: 404, 5xx)를 수정한 경우에는 구글 서치콘솔의 URL 검사 도구를 통해 즉시 ‘색인 생성 요청’을 하는 것이 좋습니다. 이는 Googlebot이 수정 사항을 더 빨리 인식하도록 돕습니다. 일반적인 웹사이트 관리 측면에서는, 새로운 콘텐츠가 추가되거나 중요한 구조 변경이 있을 때 사이트맵을 업데이트하고 다시 제출하는 것을 권장합니다. 정기적인 오류 확인은 주 1회 또는 월 1회 주기로 서치콘솔의 색인 생성 범위 보고서를 확인하는 것으로 충분합니다. Googlebot은 웹사이트를 주기적으로 크롤링하지만, 수동 요청은 긴급한 수정 사항을 더 빠르게 반영하는 데 효과적입니다.
크롤링 오류 해결은 웹사이트의 검색 엔진 최적화(SEO) 및 사용자 경험 유지에 필수적인 작업입니다. 구글 서치콘솔의 보고서를 주기적으로 확인하고, 위에 제시된 단계별 해결 방법을 체계적으로 적용하면 웹사이트의 건강한 상태를 유지하고 검색 가시성을 최적화할 수 있습니다. 지속적인 모니터링과 신속한 대응을 통해 웹사이트의 잠재력을 최대한 발휘할 수 있습니다.
답글 남기기