네이버 웹마스터 도구에서 티스토리 robots.txt 해결에 관한 잘못된 정보 2가지

2023.05.03

티스토리 블로그를 개설하고나면 네이버 서치어드바이저의 웹마스터 도구에 등록하는 것은 필수인데요. 간혹 robots.txt 설정에서 아래와 같은 오류가 나오는 경우가 있습니다.

예전에 누군가 잘못된 정보를 올린 것이 생각나서 구글에서 검색을 해보았습니다.

그랬더니 잘못된 해결방법을 포스팅한 글들이 이미 너무나도 많이 퍼져 있었습니다.

그중에서 제가 본, 가장 최근의 포스팅은 2022년 9월에 작성된 글이었습니다.

정확한 해결 방법

사실 뭐, 해결 방법이라고 할 것도 없습니다. 그냥 저 상태에서 수집요청 버튼을 클릭하면 끝납니다.

그 외에 다른 것은 할 게 아무것도 없습니다.

티스토리의 모든 블로그에는 robots.txt라는 파일이 루트디렉토리(=도메인 바로 뒤)에 자동으로 생성됩니다.

위의 이미지에서 가운데에 있는 녹색부분이 내 robots.txt 위치입니다.

저 부분을 클릭하면 내 robots.txt의 내용을 볼 수 있습니다.

User-agent: *
Disallow: /owner
Disallow: /manage
Disallow: /admin
Disallow: /oldadmin
Disallow: /search
Disallow: /m/search
Disallow: /m/admin
Disallow: /like
Allow: /

User-agent: Mediapartners-Google
Allow: /

User-agent: bingbot
Crawl-delay: 30

이게 그 코드입니다.

위와 비슷하게 나온다면 아무 이상이 없는 것입니다.

잘못된 해결방법 1번째 : robots.txt 파일을 스킨에 업로드

많은 분들이 robots.txt 간단 생성 부분에서 다운로드를 받아 스킨에 업로드하라고 합니다.

그러나 이 방법은 틀렸고, 아무런 의미도 없습니다. 적어도 티스토리에서는요…

워드프레스 블로그라면 또 다릅니다. 직접 robots.txt를 생성해야하기 때문이죠.

그 이유는 위의 이미지에도 쓰여있습니다.

스킨 편집에서 robots.txt 파일을 업로드한다 해도 그 파일은 루트에 업로드되는 것이 아니라 ./images에 업로드됩니다.

./images는 루트 디렉토리가 아니기에 해당 파일은 적용되지 않습니다.

잘못된 해결방법 2번째 : 티스토리 플러그인에서 메타태그 등록

잘못된 방법의 또 한 가지는 <meta> 태그를 스킨에 삽입하는 것입니다.

엄연히 말하면 잘못되었다기보다는, 불필요한 코드라고 할 수 있겠네요.

이 코드를 쓰든 안 쓰든, 바뀌는 게 없다는 의미입니다.

이게 왜 그런 건지는 먼저, meta robots와 robots.txt의 차이점을 알아볼 필요가 있습니다.

이름이 비슷해서 좀 헷갈릴 수도 있는데, 검색로봇을 제어한다는 의미에서 그 목적은 같지만 크게 두 가지의 차이점이 있습니다.

페이지 단위 vs 블로그 단위

티스토리 스킨에 meta robots태그를 작성하면 블로그의 모든 페이지에 적용이 됩니다.

내 블로그의 홈 화면, 포스팅 화면, 카테고리 화면 상관없이 모든 페이지에 이 코드가 적용된다는 것입니다.

그와는 다르게 robots.txt는 루트 디렉터리에 딱 한 번만 적용됩니다.

사이트의 가장 꼭대기에서 “/manage(관리자 페이지)는 긁어가지 마라"라든지 “/search(블로그 내의 검색 결과 페이지)도 긁어가지 마라" 이런 식으로 크롤링 로봇에게 지시를 내리는 것입니다.

즉, 내 블로그를 통째로 제어하겠다는 의미로 받아들일 수 있습니다.

인덱싱 제어 vs 크롤링 제어

우선순위를 따지자면, 검색로봇이 내 블로그를 방문하면 가장 먼저 하는 일이 robots.txt를 읽는 일입니다.

그리고 거기에 쓰인 지시대로 허가받은 링크를 타고 돌아다니면서 데이터를 수집합니다.

검색로봇의 이러한 행위를 크롤링이라고 합니다.

수집만 하고 하고 있을 뿐 아직까지는 검색 노출과는 상관이 없습니다.

이렇게 검색로봇이 크롤링을 한 후에, meta robots은 검색 결과에 표시하는 방법을 지시합니다.

이것이 인덱싱입니다.

수집은 했지만 검색결과에 반영할 건지 말 건지를 여기에서 결정하는 것입니다.

robots.txt는 크롤링 자체를 제어하는 것이 특징입니다.

크롤링을 제어하려면 robots.txt를 수정해야 하는데 티스토리 블로그를 운영하는 우리한테는 그러한 권한이 없습니다.

그러나 블로그를 하는 대부분의 사람들은 자신의 글이 노출되기를 원하기 때문에 수정의 필요성도 없어 보입니다.

<meta name="robots">은 생략 가능!

<meta name="robots">부분을 생략하면 기본적으로 <meta name="robots" content="all">이 적용된다고 합니다.

참고링크 : Google검색센터 : 유효한 색인 생성 및 게재 지시어

그렇기 때문에 굳이 와 같은 코드를 스킨에 삽입하지 않아도 됩니다.

즉, 이런 행위는 불필요하고 시간낭비일 뿐입니다.

정리

“근데, 위의 (잘못된) 방법으로 했더니 되던데?"
라고 반문하실지도 모르겠습니다.

네. 그건 애초에 하든 하지 않든 알아서 적용되기 때문입니다.

robots.txt는 블로그를 개설하면 자동으로 생성되고, <meta name="robots">도 마찬가지로 일부러 스킨에 삽입하지 않아도 자동으로 로봇이 긁어가기 때문입니다.

다른 목적이 있어서 “index, follow"나 “all" 이외를 적용하는 경우를 제외하면 말이죠.

많은 분들이 저렇게 잘못된 방법에 대한 글을 쓰면서 확인을 잘 안 하신 것 같습니다.

그래도 요즘은, 저 방법은 옳지 않다고 주장하시는 블로거분들도 늘고 있어서 참 다행입니다.

비단 robots에 국한된 것만은 아닙니다.

“블로그 개설하면 이건 무조건 하셔야 돼요"

남들이 하라고 해서 무작정 따라 하는 건 좋지 않습니다.

최소한 그게 무엇이고, 왜 필요한지 정도는 알아두시는 것이 좋습니다.

상세하게까지 알 필요는 없고 “그래서 그걸로 뭘 할 수 있는데?" 정도만 파악해두시면 됩니다.

robots에 관한 내용은 더 있지만, 일단은 이 정도에서 끝내기로 하겠습니다.

부디 잘못된 정보로 인해 불필요한 시간낭비를 하는 일이 없으시길 바랍니다.