CSF blokkeert google

This site uses cookies. By continuing to browse this site, you are agreeing to our Cookie Policy.

  • Hoi,

    Ik kreeg al een aantal dagen een melding dat Google niet correct sites kon indexeren op mijn server.
    In Google webmaster tools zag ik dat de server regelmatig een status code 500 terug gaf.

    Het enige dat was veranderd, was de installatie van een nieuwe software firewall: CSF (Config server firewall).

    Na wat google werk heb ik ontdekt dat je in deze firewall Google en andere zoekmachines eenvoudig kunt whitelisten:
    In /etc/csf/csf.rignore
    dien je gewoon volgende 3 lijntjes toe te voegen:
    .googlebot.com
    .crawl.yahoo.net
    .search.msn.com

    Daarmee sta je yahoo, google en msn toe om je site te crawlen en de firewall rules te bypassen.
    Dit omdat deze veel sneller je pagina's bezoeken dan gewone mensen - en daardoor werden geblokkeerd.

    Groetjes,
    Laura
    x
    Groetjes,
    Laura
    xxx

    2,160 times read

Comments 2

  • K.Rens -

    Ja, ik wist het ook niet.
    Bedankt voor de tip.
    Voorlopig klaagt google niet, maar beter voorkomen dan genezen ;)

  • WHMCSAddons -

    Thnx nooit geweten eigenlijk, overigens staat dit ook in comments in het bestand, maar dit moet je maar net weten :)