브랜드명을 구글에 쳐봤는데 우리 몰이 안 나와서 당황하신 적 있으실 거예요. 글이 부족해서가 아니라 색인 자체가 안 된 경우가 훨씬 흔한데, 오늘은 그 원인을 하나씩 짚어드리면서 확인하는 방법까지 차근차근 같이 정리해볼게요.
쇼핑몰을 오픈하고 석 달쯤 지났는데 손님이 좀처럼 안 늘어서 답답하다는 사장님을 자주 만납니다. 상품 사진도 정성껏 찍고 상세페이지도 밤새워 썼는데, 정작 구글에 브랜드명을 쳐보면 우리 몰이 아예 안 나오는 경우가 있어요. 이럴 때 사장님들은 보통 콘텐츠가 부족해서라고 생각하고 블로그 글을 더 쓰거나 상세페이지를 다시 고치는데, 사실 원인은 훨씬 앞단에 있는 경우가 많습니다. 검색엔진이 우리 사이트를 아예 색인(index)하지 않았다면 아무리 좋은 글을 써도 검색결과에 뜰 수가 없거든요. 색인은 크롤링(수집)과 노출(순위) 사이에 있는 단계인데, 이 단계에서 막혀 있는지부터 확인하는 게 순서예요. 오늘은 우리 몰이 실제로 색인됐는지 확인하는 법과, 안 됐다면 흔히 걸리는 원인 다섯 가지를 하나씩 짚어보겠습니다.
가장 빠른 확인법은 검색창에 site:도메인주소를 쳐보는 거예요. 예를 들어 site:oursite.co.kr 이렇게 검색하면 구글이나 네이버가 우리 사이트에서 색인해 둔 페이지 목록이 쭉 나옵니다. 이 결과가 아예 없거나 홈페이지 한 장만 달랑 나온다면, 상품 페이지들이 색인에서 빠져있다는 뜻이니 아래 원인들을 순서대로 점검해야 해요. 반대로 몇백 개 페이지가 잘 나온다면 색인 문제는 아니고 콘텐츠나 키워드 경쟁의 문제로 넘어가서 봐야 합니다.
더 정확하게 보려면 구글 서치콘솔의 URL 검사 도구와 네이버 서치어드바이저의 웹마스터도구를 쓰는 게 좋아요. 특정 상품 URL을 넣으면 "URL이 Google에 등록되어 있습니다" 또는 "등록되지 않음"이라는 결과와 함께 마지막으로 크롤링한 날짜까지 보여줍니다. 저도 처음 이 도구를 몰랐을 때는 그냥 검색만 반복하면서 답답해했는데, URL 검사 결과 한 줄로 원인이 명확해지는 경험을 하고 나서는 매번 이 도구부터 켭니다.
의외로 흔한 실수인데, 리뉴얼이나 개발 작업을 하면서 전체 크롤링을 차단해두고 오픈 후 그대로 방치하는 경우가 있어요. robots.txt 파일에 Disallow: / 한 줄만 있어도 검색엔진 크롤러는 사이트 전체를 아예 들어오지 않습니다. 개발 단계에서는 미완성 페이지가 검색에 노출되지 않도록 일부러 막아두는 게 맞는데, 오픈 후 이 설정을 그대로 두면 완성된 사이트도 계속 차단 상태로 남아요.
확인은 간단합니다. 브라우저 주소창에 도메인 뒤에 /robots.txt를 붙여서 직접 접속해보면 됩니다. 여기에 Disallow: / 처럼 전체를 막는 줄이 있거나, 상품 페이지 경로(/product/ 같은)를 통째로 막아둔 줄이 있는지 확인하세요. 서치콘솔 URL 검사 도구에서도 특정 URL을 넣으면 "robots.txt에 의해 차단됨"이라고 바로 알려주니 훨씬 편합니다. 아임웹이나 카페24 같은 빌더형 플랫폼은 기본 robots.txt를 자동으로 만들어주지만, 커스텀 코드를 넣거나 설정을 건드린 적이 있다면 한 번은 꼭 직접 확인해보시는 걸 추천드려요.
robots.txt와 헷갈리기 쉬운데, noindex는 성격이 조금 달라요. 크롤링 자체는 허용하지만 "이 페이지는 검색결과에 넣지 마세요"라고 페이지 안에서 지시하는 태그입니다. 리뉴얼 중이거나 특정 템플릿을 통째로 복사해서 쓰다 보면, 검색엔진 노출 설정을 꺼둔 채로 그대로 오픈하는 경우가 생각보다 많아요. 특히 플랫폼의 SEO 설정 메뉴에서 "검색엔진 노출 허용" 같은 옵션이 기본값으로 꺼져 있는 걸 모르고 지나치는 사례를 여러 번 봤습니다.
확인법은 페이지에서 마우스 우클릭 후 "페이지 소스 보기"를 열어서 meta name="robots" content="noindex" 라는 줄이 있는지 찾아보는 거예요. 코드가 낯설다면 서치콘솔 URL 검사 도구가 더 편합니다. 검사 결과에 "색인 생성이 허용되지 않음"이라고 뜨면 바로 이 문제입니다. 상품 페이지 몇 개만 무작위로 골라서 검사해보고, 만약 걸려있다면 플랫폼 관리자의 SEO 또는 검색엔진최적화 설정 메뉴에서 노출 허용 여부를 다시 켜주시면 됩니다.
robots.txt도 정상이고 noindex도 안 걸려 있는데 여전히 안 뜬다면, 단순히 시간 문제일 수 있어요. 새로 만든 도메인은 검색엔진이 아직 신뢰를 충분히 쌓지 못한 상태라 크롤 예산(crawl budget)이 적게 배정됩니다. 저도 첫 사이트를 오픈했을 때 사이트맵까지 다 제출했는데 2주 넘게 아무 반응이 없어서 뭐가 잘못됐나 계속 찾아본 적이 있어요. 결국은 그냥 시간이 필요했던 거였고, 3주차부터 서서히 색인이 붙기 시작했습니다.
기다리는 것도 방법이지만 크롤러를 적극적으로 유도하는 방법도 있어요. 서치콘솔에서 URL 검사 후 "색인 생성 요청" 버튼을 누르면 우선순위가 조금 올라갑니다. 네이버 서치어드바이저에서는 "요청 > 웹 페이지 수집"에서 URL을 직접 제출할 수 있고요. 여기에 더해 SNS나 블로그처럼 외부에서 우리 몰로 들어오는 링크를 몇 개 만들어두면, 크롤러가 그 링크를 타고 들어오는 경로가 하나 더 생기는 효과가 있습니다.
크롤링은 됐는데 색인만 안 되는 경우도 있습니다. 서치콘솔 색인 생성 리포트에서 "크롤링됨 - 현재 색인이 생성되지 않음"이라는 문구를 본 적 있으실 텐데, 이게 바로 이 경우예요. 상품 설명이 거의 없이 이미지 몇 장만 달랑 있는 상세페이지, 또는 제조사가 제공한 상세설명을 그대로 복붙한 페이지는 검색엔진 입장에서 "굳이 색인할 가치가 없는 페이지"로 판단될 수 있습니다. 특히 사입 상품을 여러 몰에서 똑같이 파는 경우 이런 문제가 흔하게 나타나요.
해결책은 결국 상품마다 고유한 텍스트를 조금이라도 더 넣는 거예요. 사이즈 정보, 착용 후기 요약, 소재 설명처럼 사장님만 아는 디테일을 두세 문장이라도 직접 추가하면 도움이 됩니다. 카테고리 페이지 상단에 짧은 소개 문구를 넣는 것도 효과가 있고요. 신상품이 계속 쌓이는데 옛날 상품 설명은 그대로 방치돼 있다면, 매달 조금씩이라도 오래된 페이지부터 손보는 루틴을 만들어보시는 걸 추천드립니다.
사이트맵은 검색엔진에게 "우리 몰에 이런 페이지들이 있어요"라고 지도를 건네주는 역할을 합니다. 사이트맵이 아예 없거나, 있어도 몇 달째 갱신이 안 된 상태라면 새로 올린 상품을 검색엔진이 스스로 찾아내기까지 시간이 훨씬 오래 걸려요. 아임웹이나 카페24 같은 플랫폼은 대부분 sitemap.xml을 자동으로 생성해주지만, 이걸 서치콘솔과 네이버 서치어드바이저에 직접 등록해두지 않으면 검색엔진이 그 존재 자체를 모를 수도 있습니다.
지금까지 살펴본 다섯 가지 원인을 표로 한 번에 정리해봤어요. 순서대로 하나씩 짚어가시면 대부분 원인을 찾을 수 있을 거예요.
| 원인 | 확인 방법 | 해결 방법 |
|---|---|---|
| robots.txt 전체 차단 | 도메인/robots.txt 직접 접속 | Disallow: / 줄 삭제 또는 수정 |
| noindex 태그 | 페이지 소스 보기 또는 URL 검사 | SEO 설정에서 노출 허용으로 변경 |
| 신생 도메인 크롤 지연 | 서치콘솔 크롤링 기록 확인 | 색인 생성 요청, 외부 링크 확보 |
| 저품질·중복 콘텐츠 | 색인 생성 리포트 "색인 생성 안 됨" | 상품별 고유 설명 추가 |
| 사이트맵 미등록 | 서치콘솔 Sitemaps 리포트 확인 | sitemap.xml 제출 |
| 페이지 로딩 오류 | URL 검사 도구 크롤링 상태 | 서버 오류·리다이렉트 루프 수정 |
색인 문제를 다 해결했다면 다음 단계는 블로그 다른 글에서 다루는 사이트맵과 robots.txt 세팅을 제대로 갖추는 거예요. 색인이 잘 되기 시작하면 이제는 속도와 구조 쪽 기술 SEO로 넘어가야 검색 순위도 함께 따라옵니다.