Wat is crawlen?

Crawlen is het doorzoeken van webpagina’s door middel van speciaal software (bots en/of spiders) van zoekmachines. Door een website te crawlen kan een zoekmachine bepalen waar de webpagina’s over gaan en deze indexeren. Crawlen is een belangrijk onderdeel van SEO (zoekmachine optimalisatie).

Wat is het crawlbudget?

Zoekmachines hanteren voor elke website een crawlbudget. Dit is het aantal pagina’s dat per dag gecrawld wordt. Het crawlbudget kan verloren gaan door technische fouten of een slechte websitestructuur.

Hoe verbeter je het crawlen?

Als een website niet goed gecrawld kan worden, dan heeft dit nadelige gevolgen voor de vindbaarheid. Je kunt je website “crawl-vriendelijk” maken door rekening te houden met onderstaande punten:

  • Zorg voor een up-to-date sitemap.
  • Voorkom en herstel broken links.
  • Voorkom crawlfouten
  • Zorg voor een duidelijke, logische websitestructuur.
  • Werk aan een goede interne linkbuilding.
  • Optimaliseer het robots.txt bestand. Dit bepaalt wat een bot wel en niet mag crawlen.
  • Minimaliseer 301 redirects.

Andere interessante begrippen

Wat is een robot.txt bestand
sitemap
Websitesnelheid
Wat is een 301 redirect?

Benieuwd naar de mogelijkheden van SEO voor jouw website?

Vul onderstaand formulier en wij nemen vrijblijvend contact met je op!