권고방법 1
웹서버에서의 접근차단
아파치서버 설정 컨피그를 편집하여 검색봇의 접근을 차단할 수 있습니다.
BrowserMatch “WebZIP” go_out
BrowserMatch “Teleport” go_out
BrowserMatch “GetRight” go_out
브라우져 이름이 매칭될경우 go_out 이라고 정의하게됩니다.
Options IncludesNoExec ExecCGI
AllowOverride None
Order allow,deny
Allow from all
Deny from env=go_out
디렉토리에서 go_out으로 정의된 브라우져를 Deny로 차단설정을합니다.
권고방법 2
IIS서버와 아파치서버 톰캣서버등 모든 웹서버에 가능한 방법입니다.
웹사이트의 루트폴더인 wwwroot나 htdocs 루트디렉토리에 robots.txt 파일을 생성하여서 파일내용에
User-agent: *
Disallow: /
라고 기입하시면 검색봇의 검색을 차단시킬 수 있습니다.
(웹사이트 내용을 모두 검색을 허용하기)
User-agent: *
Disallow:
(Disallow에 설정된 폴더 검색을 제외하기)
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /private/
(배드봇 검색봇만 검색 차단하기)
User-agent: BadBot
Disallow: /
(웹크롤러 검색봇만 검색 허용)
User-agent: WebCrawler
Disallow:
(Disallow에 설정된 폴더를 제외한 모든 검색허용)
User-agent: *
Disallow: /~joe/docs/
아래 태그를 페이지 소스코드 <head></head> 사이에 입력을 하면 국제 표준 메타 태그 정의에 의해 검색봇이 아래 태그가 있는 페이지는 검색하지 않게 됩니다.
<META NAME=”ROBOTS” CONTENT=”NOINDEX, NOFOLLOW”>
