Wat is Crawlen?
In SEO betekent ‘crawlen’ dat een zoekmachinebot door webpagina’s kijkt zodat ze later geïndexeerd en uiteindelijk gerangschikt kunnen worden. Deze bots worden vaak ‘crawlers’ of ‘spiders’ genoemd. Ze bekijken nauwkeurig alles wat ze op een pagina kunnen vinden.
Meer Over Crawlen
Wanneer een zoekmachine-bot een webpagina crawlt, bekijkt hij alle inhoud en code die hij kan vinden. Dit omvat platte tekst, afbeeldingen en alt-tekst, links, enz.
Webcrawlers noteren alle links die ze op een site vinden en doorzoeken ook die pagina’s. Op deze manier kunnen site-eigenaren een linkpad voor crawlers creëren. Om bots sneller en efficiënter een website te laten doorzoeken, kun je overwegen om een XML sitemap te maken.
Wanneer het crawlen is voltooid, zullen zoekmachinebots alle verzamelde gegevens opslaan en ‘indexeren’. Vervolgens gebruiken ze deze informatie om de rangschikking van een website te bepalen.
