Indexering van grote webshops: crawlbudget, bulk-indiening en monitoring
TL;DR: Bij grote catalogi met duizenden producten is indexering geen eenmalige actie — het is een voortdurend proces. Een beperkt crawlbudget, dunne productpagina's en een gebrek aan monitoring zorgen ervoor dat een fors deel van je assortiment onzichtbaar blijft in Google. Dit blok legt uit hoe je dat aanpakt: van prioritering tot bulk-indiening en systematische rapportage.
Inleiding
Stel: je webshop telt 20.000 productpagina's. Je dient een sitemap in, wacht af — en ontdekt via Google Search Console dat een kwart van je assortiment nooit is opgenomen in de index. Nieuwe collecties staan er na weken nog niet in. Seizoensartikelen gaan live, maar verschijnen pas in Google als het seizoen al voorbij is.
Dit is geen uitzondering. Het is de standaardwerkelijkheid voor grote en middelgrote webshops. De oorzaak ligt niet bij één probleem, maar bij een combinatie: te weinig crawlbudget voor het totale aantal URL's, productpagina's met weinig onderscheidende inhoud, en geen zicht op welke pagina's wél en niet geïndexeerd zijn.
Als SEO-practitioner met 15+ jaar ervaring zie ik dit patroon consequent bij shops met honderden tot tienduizenden SKU's — ongeacht het platform.
Waar het bij grote catalogi misgaat
| Probleem | Oorzaak | Effect |
|---|
| Beperkt crawlbudget | Googlebot wijst per domein een budget toe; bij grote catalogi raakt dat snel op | Duizenden URL's worden zelden of nooit gecrawld |
| Thin content op productpagina's | Standaard beschrijvingen, weinig unieke tekst, lege velden | Google ziet geen reden om de pagina op te nemen |
| Gedupliceerde varianten | Kleur- en maatvarianten als aparte URL's zonder canonicaltag | Crawlbudget verspild aan pagina's die toch niet indexeren |
| Gebrek aan interne linkstructuur | Nieuwe producten staan in geen enkele navigatie of categoriepagina | Googlebot vindt de pagina niet organisch |
| Geen monitoring | Niemand controleert hoeveel pagina's er daadwerkelijk in de index zitten | Problemen blijven maanden onopgemerkt |
Let op: De sitemap-ping voor Google (https://www.google.com/ping?sitemap=…) is eind 2023 officieel uitgeschakeld. Hij heeft geen effect meer. Dien sitemaps in via Google Search Console.
Controleer nu jouw indexeringsgraad
Gebruik van het gratis trialtegoed voor onze checker staat bij aanmelding klaar; GSC is optioneel.
Controleer indexeringsgraad · Prijzen
Waarom grote shops indexeringsgaten hebben
Crawlbudget: de vergeten bottleneck
Googlebot heeft voor elk domein een limiet aan hoeveel URL's hij per tijdsperiode bezoekt. Voor een shop met 500 producten is dat zelden een probleem. Voor een shop met 50.000 SKU's is het een structureel knelpunt.
Het crawlbudget wordt niet evenredig verdeeld. Google geeft voorrang aan pagina's die hij al kent, die veel inkomende links hebben en die snel laden. Nieuwe producten, gefaseerde collecties en seizoensartikelen staan achteraan in de rij — als ze al aan de beurt komen.
Wat het verergert:
- Thin content — Productpagina's met minimale of identieke tekst worden gecrawld, niet geïndexeerd, en daarna overgeslagen bij toekomstige crawlrondes. Het budget is dan besteed aan pagina's die toch niets opleveren.
- Gedupliceerde varianten — Als elke kleurvariant een aparte URL heeft zonder canonical, verdubbel je het aantal te crawlen pagina's zonder extra indexeringswaarde.
- Orphan pages — Producten die in geen enkele categoriepagina of interne navigatie zijn opgenomen, kan Googlebot alleen via de sitemap vinden — en sitemaps lezen kost ook crawlbudget.
Wat je kunt doen
Eerst opruimen, dan indienen. Zet canonical-tags op varianten die je niet zelfstandig wilt laten indexeren. Verwijder of no-index pagina's die structureel geen zoekverkeer genereren en geen productwaarde hebben (lege filters, lege categoriepagina's). Zo houd je het budget over voor pagina's die er toe doen.
Duizenden productpagina's in de index krijgen
Bulk-indiening: hoe dat werkt
Handmatige indiening via de URL-inspectietool in Google Search Console is bedoeld voor incidentele verzoeken — niet voor bulk. Voor honderden of duizenden URL's tegelijk zijn er andere routes:
Sitemap segmenteren
Deel jouw sitemap op in meerdere kleinere bestanden (per categorie, per producttype). Dien die apart in via GSC. Hierdoor zie je per segment de indexeringsstatus en kun je gericht bijsturen.
Google Indexing API
Officieel ondersteunt de Indexing API alleen JobPosting- en BroadcastEvent-schema's. Vereist geverifieerd domein in GSC. Gebruik dit kanaal voor wat het is — en combineer het met andere kanalen voor maximale dekking.
IndexNow (Bing en Yandex)
Stuur direct een signaal naar Bing en Yandex zodra een product live gaat. Google doet niet mee aan IndexNow, maar snelle indexering in Bing geeft indirect ontdekkingssignalen. Geen GSC-verificatie nodig.
Discovery-signalen versterken
Nieuwe producten die intern goed gelinkt zijn — vanuit categoriepagina's, breadcrumbs, gerelateerde producten — worden sneller door Googlebot ontdekt. Dit kost geen budget, maar vereist een doordachte interne linkstructuur.
Gecombineerde aanpak via FastIndexing
FastIndexing controleert de technische gereedheid, verstuurt alleen discovery-signalen die van toepassing zijn op de URL en zoekmachine, en monitort de status van D0 tot en met D14. Alleen de zoekmachine bepaalt of en wanneer de URL wordt geïndexeerd; er wordt geen geaggregeerd indexeringspercentage beloofd.
Prijs: Basic 30 / Refund-Protected 40 credits per geschikte URL (bureautarief). Geen abonnement vereist. Technisch geblokkeerde URL's worden niet in rekening gebracht wanneer wij dat detecteren.
Bekijk alle opties en prijzen · Meer over Google-indexering
Seizoens- en nieuwe collecties: timing is alles
Een seizoensassortiment stelt extra eisen. Een zomercollectie die pas in de index komt nadat het seizoen voorbij is, levert niets op. Dat betekent: tijdig indienen, niet wachten tot de lancering.
Wat werkt:
- Publiceer de categoriepagina's voor het seizoensassortiment al vóór de productpagina's live gaan. Zo heeft Googlebot al een voet aan de grond.
- Voeg nieuwe producten toe aan de sitemap op het moment van publicatie — niet bij de volgende automatische sitemap-refresh.
- Dien bulk in via een indexeringstool zodra de collectie live gaat, niet achteraf.
- Gebruik permanente URL's voor terugkerende collecties (bijv.
/sale/zomer/) in plaats van jaar-specifieke URL's. Zo bouw je historische autoriteit op die Googlebot sneller doet terugkeren.
Loont bulkindexering bij een seizoensassortiment?
Ja — juist dan. De tijdsdruk is het grootst en organische ontdekking is het traagst voor nieuwe URL's. Bulk-indiening geeft Google eerder de kans om te beoordelen, zodat de pagina's al rankings kunnen opbouwen terwijl het seizoen loopt.
Monitoring van de indexeringsgraad
Wat je moet meten
Een indexeringsgraad is de verhouding tussen het aantal URL's dat jij wilt laten indexeren en het aantal dat Google daadwerkelijk in de index heeft opgenomen. Voor grote webshops is dit de meest directe indicator van hoe goed Google jouw catalogus verwerkt.
Zonder monitoring weet je niet of je probleem groter of kleiner wordt — en of jouw acties effect hebben.
Bronnen voor monitoring:
| Methode | Wat je ziet | Beperking |
|---|
| Google Search Console — Pagina's | Geïndexeerde vs. niet-geïndexeerde URL's per reden | Vertraagd; geen export per bulk-lijst |
| GSC API | Automatische rapportage van indexeringsstatus per URL | Vereist technische implementatie |
| Index Checker (FastIndexing) | Directe statuscheck per URL-lijst; exporteerbaar | Handmatige bulk-input vereist |
| Site:-operator | Snelle indicatie voor losse URL's | Onbetrouwbaar bij grote aantallen |
De meest praktische aanpak voor middelgrote en grote shops: exporteer wekelijks je URL-lijst (bijv. vanuit je CMS of sitemap), check die via een bulk-checker en vergelijk met de vorige week. Zo zie je direct welke nieuwe producten de index niet halen.
Controleer jouw indexeringsgraad
Prioritaire URL's eerst: strategie boven volume
Niet elke productpagina verdient evenveel aandacht. Bij grote catalogi is het zinvoller om te prioriteren dan om alles tegelijk in te dienen.
Prioriteer op basis van:
- Omzet en marge — Bestverkopende producten horen het snelst in de index.
- Zoekvolume — Producten waarvoor mensen daadwerkelijk zoeken, leveren meer op dan nicheartikelen.
- Contentdiepte — Pagina's met uitgebreide beschrijvingen, specs en afbeeldingen worden vaker geïndexeerd dan dunne pagina's.
- Interne linkwaarde — Producten die al goed gelinkt zijn vanuit populaire categoriepagina's, worden sowieso sneller ontdekt; focus indiening op producten zonder interne links.
Gebruik de indexeringsgraad per categorie als stuurinformatie. Als 90% van categorie A geïndexeerd is en slechts 40% van categorie B, is B de prioriteit — niet de hele catalogus opnieuw indienen.
Voor Shopify-webshops gelden specifieke technische aandachtspunten rondom canonicaltags en gefacetteerde navigatie die de indexeringsgraad direct beïnvloeden.
Uit de praktijk
Dmytro Puhach, Founder · 15+ jaar SEO-praktijk
Het patroon dat ik het vaakst zie bij grote webshops: de sitemap is ingediend, de producten zijn live, maar niemand heeft ooit gekeken hoeveel pagina's er daadwerkelijk geïndexeerd zijn. Weken later blijkt een derde van het assortiment onzichtbaar — zonder duidelijke reden in GSC.
De eerste stap is altijd meten. Exporteer jouw URL-lijst, check de indexeringsstatus in bulk en maak inzichtelijk waar de gaten zitten. Pas dan heeft het zin om actie te ondernemen.
Wat daarna consequent werkt: opruimen eerst (canonicals, thin content, onnodige varianten), daarna bulk-indiening via de kanalen die voor de URL en zoekmachine geschikt zijn, en daarna een terugkerend monitoring-ritme. Geen eenmalige actie, maar een proces.
Voor seizoensshops is timing het extra element. Wie twee weken voor het seizoen start met indienen, heeft een eerlijk kans. Wie wacht tot de lancering, speelt in met een achterstand.
Veelgestelde vragen over indexering van webshops
Waarom is een deel van mijn producten niet geïndexeerd?
De meest voorkomende oorzaken zijn een uitgeput crawlbudget, dunne of gedupliceerde productinhoud, en ontbrekende interne links. Google wijst per domein een limiet toe aan het aantal pagina's dat hij per tijdsperiode crawlt. Bij grote catalogi raakt dat budget op voordat alle URL's aan de beurt zijn geweest. Producten met minimale of identieke tekst — bijv. standaard fabrikantsbeschrijvingen — worden vaak gecrawld maar niet geïndexeerd omdat Google er geen toegevoegde waarde in ziet. Controleer via Google Search Console welke reden Google opgeeft bij niet-geïndexeerde pagina's: dat geeft direct richting.
Hoe indexeer ik duizenden URL's tegelijk?
Handmatige indiening via de URL-inspectietool in GSC is niet schaalbaar bij grote aantallen. Wat wel werkt: segmenteer je sitemap per productcategorie en dien de segmenten apart in via GSC, zodat je per segment de voortgang kunt volgen. Combineer dit met een bulk-indexeringstool die URL's via de kanalen die voor de URL en zoekmachine geschikt zijn instuurt — IndexNow voor Bing en Yandex, GSC-workflows en discovery-signalen. Prioriteer daarbij URL's op basis van omzet, zoekvolume en contentdiepte in plaats van alles tegelijk in te dienen.
Hoe monitor ik de indexeringsgraad van mijn webshop?
Exporteer jouw URL-lijst vanuit je CMS of sitemap en controleer die via een bulk-checker. Vergelijk de resultaten met eerdere metingen om trends te zien. Onze index checker werkt met het gedeelde eenmalige trialsaldo van 200 credits; dit zijn geen 200 aparte gratis checks. Trialgebruik staat bij aanmelding klaar; GSC is optioneel.
Loont bulk-indexering bij een seizoensassortiment?
Ja, juist bij seizoensproducten is timing het meest kritisch. Nieuwe URL's hebben tijd nodig om beoordeeld en opgenomen te worden — en die tijd ontbreekt als je pas bij de lancering begint. Dien seizoensproducten in zodra ze live gaan, of zelfs al bij de publicatie van de categoriepagina. Gebruik bulk-indiening om Google eerder de kans te geven de pagina's te beoordelen, zodat ze rankings kunnen opbouwen terwijl het seizoen loopt. Voor terugkerende collecties geldt bovendien: permanente URL's per seizoen bouwen historische autoriteit op die toekomstige indexering versnelt.
