Bedankt voor de feedback, daar gaat aan gewerkt worden
Hoe het onder de motorkap werkt: op dit moment wordt er inderdaad vanaf een vast IP gecrawld. M.b.t. omzeilen heb je een interessant punt. Dit ga ik meenemen in de veranderingen!
Verder,
momenteel wordt alles via file_get_contents() gecontroleerd. Niet echt zuinig voor de CPU straks wordt alles omgezet naar cUrl en gaat er iets veranderen m.b.t. wanneer de url's worden gecrawld.
Als jullie hierover adviezen hebben hoor ik het graag! Ik zat er zelf aan te denken om het script 1x per dag bijv. via mijn eigen pc te draaien (op een MAMP omgeving) en dan vanaf mijn PC met de DB op de hosting te connecten en daar de database bijwerken. Dat lijkt me wat relaxter voor de CPU van de hosting. Correct me if I'm wrong!