Webcrawler
Een webcrawler is een geautomatiseerd programma - ook wel bot of spider genoemd - dat systematisch het web doorzoekt door links te volgen en pagina's ophaalt, zodat een zoekmachine ze kan beoordelen voor indexering.
Wat het betekent
Een webcrawler is software die het web automatisch afloopt: hij vraagt een pagina op, leest de links erop en voegt die links toe aan de wachtrij. Zoekmachines gebruiken crawlers om content te vinden voordat die geindexeerd kan worden.
Waarom het telt voor indexering
Kan een crawler je pagina's niet bereiken - door een robots.txt-blokkade, geen inkomende links of serverfouten - dan worden ze nooit opgehaald. Een pagina die niet gecrawld is, kan ook nooit worden geindexeerd.
Hoe je het controleert
Bekijk je serverlogboeken of het rapport Crawlstatistieken in Search Console op crawleractivity. Gebruik URL-inspectie > "Live-URL testen" om te zien wat Googlebot ophaalt en rendert.
Hoe FastIndexing helpt
Onze pre-flightcheck signaleert wat crawlers blokkeert - robots-regels, een verdwaalde noindex, weespagina's - voordat je credits uitgeeft.
Frequently asked questions
Wat doet een webcrawler?
Een webcrawler ontdekt URL's door links te volgen en sitemaps te lezen, haalt de inhoud van elke pagina op en geeft die door aan de zoekmachine. De zoekmachine beslist vervolgens of de pagina wordt geindexeerd. Crawlen en indexeren zijn aparte stappen.
Wat is het verschil tussen een webcrawler en Googlebot?
"Webcrawler" is de generieke term voor elke crawlende bot; Googlebot is de specifieke crawler van Google. Bing, Yandex en andere engines gebruiken hun eigen crawlers.
Is Googlebot een webcrawler?
Ja. Googlebot is de webcrawler van Google: de bot die pagina's ophaalt voor Google Search. Zie de Googlebot-term voor specifiekere informatie.