Hoi,
Ik kreeg al een aantal dagen een melding dat Google niet correct sites kon indexeren op mijn server.
In Google webmaster tools zag ik dat de server regelmatig een status code 500 terug gaf.
Het enige dat was veranderd, was de installatie van een nieuwe software firewall: CSF (Config server firewall).
Na wat google werk heb ik ontdekt dat je in deze firewall Google en andere zoekmachines eenvoudig kunt whitelisten:
In /etc/csf/csf.rignore
dien je gewoon volgende 3 lijntjes toe te voegen:
.googlebot.com
.crawl.yahoo.net
.search.msn.com
Daarmee sta je yahoo, google en msn toe om je site te crawlen en de firewall rules te bypassen.
Dit omdat deze veel sneller je pagina's bezoeken dan gewone mensen - en daardoor werden geblokkeerd.
Groetjes,
Laura
x
Ik kreeg al een aantal dagen een melding dat Google niet correct sites kon indexeren op mijn server.
In Google webmaster tools zag ik dat de server regelmatig een status code 500 terug gaf.
Het enige dat was veranderd, was de installatie van een nieuwe software firewall: CSF (Config server firewall).
Na wat google werk heb ik ontdekt dat je in deze firewall Google en andere zoekmachines eenvoudig kunt whitelisten:
In /etc/csf/csf.rignore
dien je gewoon volgende 3 lijntjes toe te voegen:
.googlebot.com
.crawl.yahoo.net
.search.msn.com
Daarmee sta je yahoo, google en msn toe om je site te crawlen en de firewall rules te bypassen.
Dit omdat deze veel sneller je pagina's bezoeken dan gewone mensen - en daardoor werden geblokkeerd.
Groetjes,
Laura
x
Groetjes,
Laura
xxx
Laura
xxx
K.Rens -
Ja, ik wist het ook niet.
Bedankt voor de tip.
Voorlopig klaagt google niet, maar beter voorkomen dan genezen