네이버 크롤링 방지

필자의 블로그가 네이버에 더이상 노출되지 않기를 바란다...

네이버, 당신네들 마구잡이로 크롤링 하지마라...

그리고 최소한의 로봇 규약을 지켜주기 바란다...

User-agent: cowbot
Disallow: /

User-agent: naverbot
Disallow: /

User-agent: yeti
Disallow: /

일단 robots.txt를 위와 같은 명령어로 제한을 걸긴 했는데, 또 어떤 네이버의 웹 크롤러가 있을지도 모른다...


<meta name="cowbot" content="noindex" />

<meta name="naverbot" content="noindex" />

<meta name="yeti" content="noindex" />

인덱싱을 막기 위해서 메타태그를 사용했는데, 잘 되려나 모르겠다...

이래도 안되면 로봇의 크롤링을 허용하고 메타태그만 살려두는 방법 밖에 없을 듯 하다...