Eine Website mit mehreren Hundert Seiten, von denen die Hälfte nicht bei Google erscheint, ist ein häufiges Problem. Die häufigste Ursache: Die Suchmaschine findet diese URLs einfach nicht. Die XML-Sitemap kommt hier ins Spiel, indem sie den Crawlern eine strukturierte Liste der zu durchsuchenden Seiten bereitstellt.
Doch das Einreichen einer Sitemap-Datei im Root-Verzeichnis der Website reicht nicht aus. Die Art und Weise, wie sie erstellt wird, was darin enthalten ist (und was ausgeschlossen wird), bestimmt direkt ihre Effektivität für die Indizierung und Sichtbarkeit.
XML-Sitemap: Was Google wirklich in der Datei verwendet
Es wird oft gesagt, dass man die Priorität, die Änderungsfrequenz und das Datum der letzten Aktualisierung für jede URL angeben muss. In der Praxis ignoriert Google die Werte priority und changefreq. Diese Felder aufrechtzuerhalten bringt nichts für die Sichtbarkeit in dieser Suchmaschine.
Der einzige Parameter, der für Google wirklich zählt, ist lastmod, vorausgesetzt, er spiegelt eine tatsächliche Änderung des Inhalts wider. Ein Wort im Footer zu ändern oder das Jahr des Copyrights zu aktualisieren, stellt keine signifikante Änderung dar. Google überprüft die Konsistenz dieses Datums: Wenn es bei jeder Erstellung der Sitemap künstlich aktualisiert wird, verliert das Signal jegliche Zuverlässigkeit.
Damit lastmod nützlich ist, muss es einer Aktualisierung des Hauptinhalts, der strukturierten Daten oder der internen Links der Seite entsprechen. Man kann beispielsweise die Website Flow3 konsultieren, um zu beobachten, wie eine gut strukturierte Sitemap ihre URLs mit konsistenten Daten organisiert.
Ein oft missverstandener Punkt: Das Einreichen einer URL in einer Sitemap garantiert weder deren Crawling noch deren Indizierung. Google behandelt die Datei als Signal, nicht als Anweisung. Wenn eine eingereichte Seite im Index fehlt, liegt das Problem wahrscheinlich an der Qualität oder Einzigartigkeit des Inhalts, nicht an der Sitemap selbst.
URLs der Sitemap filtern, um das Crawling zu steuern
Der gängige Reflex besteht darin, alle Seiten der Website in die Sitemap aufzunehmen. Das ist ein Fehler. Eine Sitemap, die URLs im noindex, Paginierungsseiten, Suchfilter oder Duplikate auflistet, sendet ein schlechtes Signal an die Crawler.
Das Ziel ist es, nur die kanonischen, durchsuchbaren und zur Indizierung bestimmten URLs beizubehalten. Jede URL in der Datei muss drei Kriterien erfüllen:
- Sie gibt einen HTTP-Statuscode 200 zurück (keine 301-Weiterleitung und keine 404- oder 410-Fehler)
- Sie entspricht der kanonischen Version der Seite (das canonical-Tag verweist auf sich selbst)
- Sie ist nicht durch die robots.txt-Datei oder ein noindex-Tag blockiert
Auf einer E-Commerce-Website oder einem Portal mit Tausenden von Seiten segmentiert man die Sitemap in mehrere thematische Dateien (Produkte, Kategorien, Blogartikel). Diese Segmentierung erleichtert es, in der Google Search Console zu erkennen, welche Gruppe von Seiten Probleme bei der Indizierung verursacht.
Sitemap in der Search Console einreichen und überwachen
Die Datei unter votresite.com/sitemap.xml abzulegen, ist ein erster Schritt. Aber ohne eine explizite Einreichung über die Google Search Console kann es eine Weile dauern, bis die Suchmaschine sie erkennt. Die manuelle Einreichung beschleunigt die anfängliche Berücksichtigung.
Nach der Einreichung zeigt die Search Console die Anzahl der entdeckten URLs und die Anzahl der tatsächlich indizierten URLs an. Die Diskrepanz zwischen diesen beiden Zahlen ist der wahre Leistungsindikator der Sitemap. Eine große Diskrepanz signalisiert entweder Seiten von geringer Qualität oder technische Probleme (Serverantwortzeiten, doppelte Inhalte, zu dünne Seiten).
Regelmäßige Überprüfung des Indexierungsberichts nach Sitemap ermöglicht es, Rückschritte nach einer Migration oder Neugestaltung zu erkennen. Bei einer Website-Migration können schlecht weitergeleitete URLs in der alten Sitemap verbleiben, was zu einer Reihe von 404-Fehlern im Bericht führt.
IndexNow und Sitemap: Zwei komplementäre Mechanismen für Bing
Die Sitemap funktioniert im passiven Modus: Man reicht eine Datei ein, und die Suchmaschinen kommen, um sie nach ihrem eigenen Zeitplan zu lesen. Für Websites, die häufig Inhalte veröffentlichen oder ändern, kann diese Verzögerung ein Hindernis sein.
Das IndexNow-Protokoll, das von Bing unterstützt wird, ermöglicht es, die Suchmaschine in Echtzeit zu benachrichtigen, dass sich eine URL geändert hat. Anstatt darauf zu warten, dass der Crawler zurückkommt, um die Sitemap zu durchsuchen, sendet man ein sofortiges Ping. Dies ist besonders nützlich für Nachrichtenwebsites, Marktplätze oder Verzeichnisse mit täglich aktualisierten Einträgen.
Google hat IndexNow bis heute nicht übernommen. Für diese Suchmaschine bleibt die Kombination aus XML-Sitemap und Indexierungs-API (für berechtigte Inhaltsarten) die effektivste Kombination. Die Strategie variiert also je nach den anvisierten Suchmaschinen, und eine Website, die sowohl Google als auch Bing anvisiert, sollte beide Ansätze kombinieren.
- XML-Sitemap, die mit zuverlässigen lastmod-Daten für Google aktualisiert wird
- IndexNow aktiviert, um Änderungen in Echtzeit an Bing zu melden
- Einreichung in den Webmaster-Tools beider Suchmaschinen (Search Console und Bing Webmaster Tools)
Häufige Fehler, die eine Sitemap neutralisieren
Einige technische Fehler machen die Sitemap nutzlos, ohne dass der Webmaster es bemerkt. Der häufigste: Eine robots.txt-Datei, die den Zugriff auf die Sitemap selbst blockiert. Die Datei muss die Direktive Sitemap: gefolgt von der vollständigen URL der Datei enthalten.
Ein weiteres Problem: die Größenbeschränkung überschreiten. Eine einzelne Sitemap darf nicht mehr als 50.000 URLs enthalten oder mehr als 50 MB unkomprimiert wiegen. Darüber hinaus muss eine Index-Sitemap-Datei erstellt werden, die mehrere untergeordnete Sitemaps referenziert.
Schließlich führt das Belassen einer veralteten Sitemap nach einer Neugestaltung zu Verwirrung. Alte URLs erzeugen Fehler in der Search Console, verwässern das Crawling-Budget und verlangsamen die Berücksichtigung neuer Seiten. Nach jeder strukturellen Änderung der Website sollte das Regenerieren und erneute Einreichen der Sitemap Teil des Bereitstellungsprotokolls sein.
Die Sitemap bleibt eine technische Datei, die einfach zu erstellen ist. Ihr Wert liegt weniger in ihrer Erstellung als in ihrer Wartung: saubere URLs, zuverlässige Daten, regelmäßige Überwachung in der Search Console. Diese Strenge verwandelt eine passive XML-Datei in einen konkreten Hebel für Sichtbarkeit.
