Wat is een zoekmachine crawler of spider?

Spiders: Zoekbots, ook bekend als “crawlers” en “robots,” doorkruisen het internet om gegevens te verzamelen voor de diverse zoekmachines. Zoekmachine crawlers en spiders zijn geautomatiseerde programma’s die dus het internet afspeuren naar nieuwe inhoud om te indexeren, ofwel op te nemen in de zoekresultaten.

De zogenaamde crawlers volgen links van de ene website naar de andere en verzamelen informatie terwijl terwijl ze het internet doorzoeken. Wanneer een crawler een webpagina met nieuwe inhoud vindt, slaat hij de gegevens op in zijn database en vervolgt hij zijn weg weer. Dit betekent dat telkens wanneer je nieuwe content online publiceert, een algoritme je site kan crawlen en vervolgens jouw nieuwe content op kan nemen in de zoekresultaten van bijvoorbeeld Google. Daarom is zoekmachineoptimalisatie (SEO) zo belangrijk geworden.