Een site met honderden pagina’s waarvan de helft niet in Google verschijnt, is een veelvoorkomend probleem. De frequente oorzaak: de zoekmachine vindt deze URL’s gewoon niet. De XML-sitemap komt hier in beeld door de crawlers een gestructureerde lijst van te doorlopen pagina’s te bieden.
Maar het indienen van een sitemapbestand in de root van de site is niet voldoende. De manier waarop deze wordt opgebouwd, wat erin wordt opgenomen (en wat eruit wordt gelaten) bepaalt direct de effectiviteit voor indexering en zichtbaarheid.
XML-sitemap: wat Google echt gebruikt in het bestand
Er wordt vaak gezegd dat je de prioriteit, de wijzigingsfrequentie en de datum van de laatste update voor elke URL moet opgeven. In de praktijk negeert Google de waarden priority en changefreq. Het onderhouden van deze velden voegt niets toe voor de SEO op deze zoekmachine.
De enige parameter die echt telt aan de kant van Google, is lastmod, op voorwaarde dat het een echte wijziging van de inhoud weerspiegelt. Het veranderen van een woord in de footer of het bijwerken van het copyrightjaar vormt geen significante wijziging. Google controleert de consistentie van deze datum: als deze kunstmatig wordt bijgewerkt bij elke generatie van de sitemap, verliest het signaal alle betrouwbaarheid.
Om lastmod nuttig te maken, moet het overeenkomen met een update van de hoofdinhoud, gestructureerde gegevens of interne links van de pagina. Je kunt bijvoorbeeld de site Flow3 bekijken om te zien hoe een goed gestructureerde sitemap zijn URL’s organiseert met consistente data.
Een vaak verkeerd begrepen punt: het indienen van een URL in een sitemap garandeert noch de verkenning noch de indexering. Google behandelt het bestand als een signaal, niet als een instructie. Als een ingediende pagina afwezig blijft in de index, komt het probleem waarschijnlijk van de kwaliteit of uniciteit van de inhoud, niet van de sitemap zelf.
URL’s van de sitemap filteren om de crawl te sturen
De gebruikelijke reflex is om alle pagina’s van de site in de sitemap op te nemen. Dat is een fout. Een sitemap die URL’s in noindex, pagineringpagina’s, zoekfilters of duplicaten opsomt, stuurt een verkeerd signaal naar de crawlers.
Het doel is om alleen de canonieke, doorzoekbare en voor indexering bestemde URL’s te behouden. Elke URL die in het bestand staat, moet voldoen aan drie criteria:
- Het retourneert een HTTP 200-code (geen 301-omleiding of 404- of 410-fout)
- Het komt overeen met de canonieke versie van de pagina (de canonical-tag wijst naar zichzelf)
- Het is niet geblokkeerd door het robots.txt-bestand of door een noindex-tag
Op een e-commerce site of een portal met duizenden pagina’s segmenteren we de sitemap in verschillende thematische bestanden (producten, categorieën, blogartikelen). Deze segmentatie maakt het gemakkelijker om in Google Search Console te identificeren welke groep pagina’s problemen veroorzaakt bij de indexering.
De sitemap indienen en monitoren in Search Console
Het indienen van het bestand op het adres votresite.com/sitemap.xml is een eerste stap. Maar zonder expliciete indiening via Google Search Console kan het enige tijd duren voordat de zoekmachine het detecteert. Handmatige indiening versnelt de initiële verwerking.
Eenmaal ingediend, toont de Search Console het aantal ontdekte URL’s en het aantal daadwerkelijk geïndexeerde URL’s. Het verschil tussen deze twee cijfers is de echte prestatie-indicator van de sitemap. Een groot verschil duidt op ofwel pagina’s van lage kwaliteit, ofwel technische problemen (serverreactietijd, duplicaatinhoud, te dunne pagina’s).
Regelmatig het indexeringsrapport per sitemap controleren maakt het mogelijk om regressies na een migratie of herontwerp te detecteren. Tijdens een site-migratie kunnen slecht omgeleide URL’s in de oude sitemap blijven staan, wat leidt tot een reeks 404-fouten in het rapport.
IndexNow en sitemap: twee complementaire mechanismen voor Bing
De sitemap werkt in een passieve modus: je plaatst een bestand, en de zoekmachines komen het lezen volgens hun eigen schema. Voor sites die vaak inhoud publiceren of wijzigen, kan deze vertraging een belemmering zijn.
Het IndexNow-protocol, ondersteund door Bing, maakt het mogelijk om de zoekmachine in realtime te informeren dat een URL is gewijzigd. In plaats van te wachten tot de crawler terugkomt om de sitemap te verkennen, sturen we een onmiddellijke ping. Dit is bijzonder nuttig voor nieuwswebsites, marktplaatsen of directories met dagelijks bijgewerkte vermeldingen.
Google heeft IndexNow tot nu toe niet aangenomen. Voor deze zoekmachine blijft de combinatie van XML-sitemap en indexerings-API (voor in aanmerking komende inhoudstypes) de meest effectieve combinatie. De strategie varieert dus afhankelijk van de doelgerichte zoekmachines, en een site die zowel Google als Bing richt, heeft er belang bij om beide benaderingen te combineren.
- XML-sitemap bijgewerkt met betrouwbare lastmod-datums voor Google
- IndexNow geactiveerd om wijzigingen in realtime aan Bing te signaleren
- Indiening in de webmastertools van beide zoekmachines (Search Console en Bing Webmaster Tools)
Veelvoorkomende fouten die een sitemap neutraliseren
Bepaalde technische fouten maken de sitemap nutteloos zonder dat de webmaster het opmerkt. De meest voorkomende: een robots.txt-bestand dat de toegang tot de sitemap zelf blokkeert. Het bestand moet de directive Sitemap: gevolgd door de volledige URL van het bestand bevatten.
Een andere valstrik: de grootte limiet overschrijden. Een enkele sitemap kan niet meer dan 50.000 URL’s bevatten of meer dan 50 MB ongecomprimeerd wegen. Daarboven moet je een sitemap indexbestand maken dat meerdere kind-sitemaps verwijst.
Tenslotte creëert het online laten staan van een verouderde sitemap na een herontwerp verwarring. De oude URL’s genereren fouten in Search Console, verdunnen het crawlbudget en vertragen de verwerking van nieuwe pagina’s. Na elke structurele wijziging van de site zou het regenereren en opnieuw indienen van de sitemap deel moeten uitmaken van het implementatieprotocol.
De sitemap blijft een technisch bestand dat eenvoudig te produceren is. De waarde ligt minder in de creatie dan in het onderhoud: schone URL’s, betrouwbare datums, regelmatige monitoring in Search Console. Het is deze nauwkeurigheid die een passief XML-bestand transformeert in een concreet hulpmiddel voor zichtbaarheid.
