04.11.2007. Općenito Mario Frančešević

Zapravo, što se događa kada roboti pretraživača dođu do vaše stranice, a ona je baš u tom trenutku nedostupna? Recimo da radite neki veći update, mijenjate fileove, zaboravljate nešto staviti kako je bilo…a Googlebot bi mogao doći svaki tren…

U tom trenutku zgodno bi bilo reći robotu da dođe malo kasnije, jer eto, trenutno i nije baš najzgodniji trenutak za posjetu.
Način na koji se može to napraviti je da se putem .htaccess filea i mod_rewrite instrukcija postavi status 503 (mreža nije dostupna). Upravo to stoji kao regularan način na koji se može “odgoditi” posjeta robota i na Google Webmaster Centralu:

If my site is down for maintenance, how can I tell Googlebot to come back later rather than to index the “down for maintenance” page?

You should configure your server to return a status of 503 (network unavailable) rather than 200 (successful). That lets Googlebot know to try the pages again later.

Objašnjenje o 503 statusu možete pronaći na W3C ovdje. Objašnjenje Retry-After polja ovdje.

Kod koji je potrebno ubaciti u .htaccess file je sljedeći:

Retry-After: Fri, 31 Dec 1999 23:59:59 GMT

Retry-After: 120 

Možete upotrijebiti jednu od dvije navedene metode. Prva je mislim jasna, te je navedeno NAKON kojeg datuma i vremena roboti mogu doći posjetiti vašu stranicu, dok druga označava posjetu u sekundama. Dakle, gornji primjer se odnosi na 120 sekundi ili 2 minute.

Nakon toga, sve što treba napraviti je poslati 503 status robotima, a posjetiteljima neku informativnu stranicu na kojoj bi objasnili što se događa.

Options +FollowSymLinks
 RewriteEngine On
 RewriteBase /
 RewriteCond %{HTTP_USER_AGENT}
 ^.*(Googlebot|Googlebot|Mediapartners|Adsbot
 Feedfetcher)
 -?(Google|Image)? [NC]
 RewriteCond %{REQUEST_URI}
 !^/cgi-bin/error/503.php [NC]
 RewriteRule .* /cgi-bin/error/503.php

 RewriteCond %{REMOTE_HOST} !^1.1.1.1
 RewriteCond %{REQUEST_URI}
 !^/cgi-bin/error/404.php [NC]
 RewriteRule .* /trenutno-nedostupna.html [R=302,L] 

Još jedan link o 5xx statusima: Google Webmaster Help.