Zapravo, što se događa kada roboti pretraživača dođu do vaše stranice, a ona je baš u tom trenutku nedostupna? Recimo da radite neki veći update, mijenjate fileove, zaboravljate nešto staviti kako je bilo…a Googlebot bi mogao doći svaki tren…
U tom trenutku zgodno bi bilo reći robotu da dođe malo kasnije, jer eto, trenutno i nije baš najzgodniji trenutak za posjetu.
Način na koji se može to napraviti je da se putem .htaccess filea i mod_rewrite instrukcija postavi status 503 (mreža nije dostupna). Upravo to stoji kao regularan način na koji se može “odgoditi” posjeta robota i na Google Webmaster Centralu:
If my site is down for maintenance, how can I tell Googlebot to come back later rather than to index the “down for maintenance” page?
You should configure your server to return a status of 503 (network unavailable) rather than 200 (successful). That lets Googlebot know to try the pages again later.
Objašnjenje o 503 statusu možete pronaći na W3C ovdje. Objašnjenje Retry-After polja ovdje.
Kod koji je potrebno ubaciti u .htaccess file je sljedeći:
Retry-After: Fri, 31 Dec 1999 23:59:59 GMT Retry-After: 120
Možete upotrijebiti jednu od dvije navedene metode. Prva je mislim jasna, te je navedeno NAKON kojeg datuma i vremena roboti mogu doći posjetiti vašu stranicu, dok druga označava posjetu u sekundama. Dakle, gornji primjer se odnosi na 120 sekundi ili 2 minute.
Nakon toga, sve što treba napraviti je poslati 503 status robotima, a posjetiteljima neku informativnu stranicu na kojoj bi objasnili što se događa.
Options +FollowSymLinks
RewriteEngine On
RewriteBase /
RewriteCond %{HTTP_USER_AGENT}
^.*(Googlebot|Googlebot|Mediapartners|Adsbot
Feedfetcher)
-?(Google|Image)? [NC]
RewriteCond %{REQUEST_URI}
!^/cgi-bin/error/503.php [NC]
RewriteRule .* /cgi-bin/error/503.php
RewriteCond %{REMOTE_HOST} !^1.1.1.1
RewriteCond %{REQUEST_URI}
!^/cgi-bin/error/404.php [NC]
RewriteRule .* /trenutno-nedostupna.html [R=302,L]
Još jedan link o 5xx statusima: Google Webmaster Help.
;
