하루에 두번이나 트래픽 리셋... robots.txt 를 이용해서, 쓸데없는 트레픽 줄이자.

오늘 새벽 5시에 일어나서 홈피를 열었더니.. 난데없는 트래픽 초과라는...
어처구니가 없었지만.. 많이 접속했나?
하고 4장남은 트래픽 리셋쿠폰으로 트래픽 리셋...
하고 봤더니.. 접속자는 딸랑 140명..

뭔일이지? 하고, 일보고 저녁에 와보니.. 다시 트래픽 초과...
이건.. 뭔일이 있다고 판단하고.. 우선 다시 3장남은 트래픽 리셋쿠폰으로 리셋시키고~
접속로그 확인하고, 서버 회사에 게시판 문의하고..

접속로그를 확인해보니.. 뜬금없이 프랑스쪽에서 엄청난 트래픽이 일어났다는..

그것도.. 82.231.13.148 라는 이상한 서버에서...

우선.. robots.txt 를 이용해서, 특정한 로봇만 접속할 수 있도록 조치를 했다.
그 이후의 일은 좀더 지켜보자고..

------------------------------------
-- 나의 robot.txt 적용 파일 -----------
------------------------------------
User-agent: Googlebot
Disallow:
User-agent: cowbot
Disallow:
User-agent: empas
Disallow:
User-agent: MSNBot
Disallow:
User-agent: Slurp
Disallow:
User-agent: 1Noonbot 1.0
Disallow:
User-agent: *
Disallow: /
Disallow: /cgi-bin/
------------------------------------

이상이다. 구글, Naver, MSN, Yahoo, 첫눈 의 로봇들만 검색되어지도록 조치를 한것이다.

ps1) 참고로.. 각각의 로봇 이름은 다음과 같다.
구글 : Googlebot
구글 이미지 : googlebot-image
네이버 : cowbot
야후 : Slurp
야후 이미지 : Yahoo-MMCrawler
엠파스 : empas
MSN : MSNBot
첫눈 : 1Noonbot 1.0

ps2) 해당 아이피를 찾아 차단 시켜 방법은 아래와 같다고 한다.
SetEnvIfNoCase remote_addr 아이피주소 go_out
order allow,deny
Allow from all
Deny from env=go_out