Michael Brumm

Wie du Crawling-Fehler mit Hilfe der Search Console ausfindig machst und analysieren kannst

Googles Search Console liefert dir einen Überblick zu Crawling-Problemen auf deiner Website. Wir zeigen dir, welche Fehler und Probleme dir Google anzeigt und wie du diese am besten analysieren kannst.

Crawling-Fehler mit Hilfe der Google Search Console aufspüren

Unter Crawling-Fehler versteht man jegliche Probleme, denen der Suchmaschinen-Crawler beim Besuch einer Website begegnen kann. Ist es dem Crawler nicht gelungen, einen bestimmten Inhalt in den Index zu übermitteln, können hier verschiedene Probleme die Ursache sein. Ist eine Seite (temporär) nicht erreichbar? Wurde der Crawler ausgesperrt oder gab es einen Serverfehler? Diesen Problemen solltest du regelmäßig nachgehen, um sicherzugehen, dass Google und andere Suchmaschinen deine Website möglichst vollständig und korrekt erfassen. Ansonsten können wichtige Inhalte möglicherweise nie den Weg auf die Ergebnisseiten der Suchmaschinen finden.

Der einfachste und direkteste Weg, um eventuelle Crawling-Fehler ausfindig zu machen, ist der Einsatz der Google Search Console. Denn die Daten stammen direkt von Google und zeigen, wo der Suchmaschinen-Crawler auf ein Problem stieß. Dabei listet die Search Console genau auf, welche URLs betroffen sind und wann das Problem festgestellt wurde. Die einzige Beschränkung ist hierbei, dass Google pro Fehlerkategorie nur maximal 1.000 Einträge zeigt. Dies sollte in der Regel jedoch ausreichen, um Muster für bestimmte Fehler ausfindig zu machen und diese zu beheben.

Der Bericht „Abdeckung“: eventuelle Fehler schnell und einfach aufspüren

Zentrale Anlaufstelle für die Überprüfung der eigenen Website ist der Bericht Index > Abdeckung. Hier findest du alle URLs der Website, die Google bekannt sind. Der Bericht gliedert sich in vier Bereiche:

Zu sehen ist ein Screenshot des Berichts "Index data-lazy-src=

So kannst du die 404-Fehler analysieren

Wir schauen uns beispielhaft die vorhandenen 404-Fehler genauer an und überprüfen diese. In dem Beispielprojekt gibt es 114 betroffene URLs. Klickst du auf die Fehlermeldung in der Abdeckungs-Übersicht, werden dir die entsprechenden URLs angezeigt. Zudem sehen wir hier auch die Entwicklung der Fehler:

Zu sehen ist ein Screenshot der Übersicht über URLs mit 404-Fehlern und die Entwicklung dieser.

Zunächst solltest du überprüfen, ob die Fehler noch aktuell sind. Google überprüft nicht jeden Tag jede URL. Es kann also sein, dass die tatsächliche Anzahl der aktuellen 404-Fehler deutlich geringer ist. Du kannst dir betroffenen URLs durch das Download-Icon oben rechts als CSV-Datei herunterladen. Die URLs solltest du anschließend in einem Crawling Tool wie Screaming Frog überprüfen. Das Tool listet dir den Status der einzelnen URLs auf und du kannst dir die Übersicht zum Beispiel in Excel importieren:

Zu sehen ist an dieser Stelle ein Screenshot der als CSV-Datei herunterladenen URLs im Crawling-Tool Screaming Frog, in dem sie überprüft werden und der Status der einzelnen URLs aufgelistet wird.

Zur besseren Übersicht kannst du dir die einzelnen Statuscodes farbig markieren. In unserem Fall gibt es zwei Seiten, die erreichbar sind (grün), einige URLs, die weitergeleitet wurden (gelb) und die restlichen noch aktiven 404-Fehler (rot). Insgesamt sind von den 114 angezeigten Fehlern nur noch 56 wirklich aktiv. Da bereits einige Weiterleitungen eingerichtet wurden, ist anzunehmen, dass sich Inhalte geändert haben und daher einige URLs nicht mehr gültig sind.

URL-Gruppierungen helfen beim Einschätzen von Problemen

Die übrigen URLs solltest du dir genauer anschauen und prüfen, ob sich diese gruppieren lassen:

Allein daran lassen sich schon Ursachen für mögliche Fehler ermitteln, denen du genauer auf den Grund gehen kannst. Ist noch immer offen, woher der Fehler kommen kann, hilft ein erneuter Blick in die Google Search Console.

Crawling-Probleme mit dem URL-Prüftool analysieren

Jegliche Crawling-Fehler kannst du am besten mit dem URL-Prüftool der Google Search Console analysieren. Das URL-Prüftool kannst du ganz einfach aufrufen, indem du oben in der Search Console die entsprechende URL eingibst. Dann zeigt dir Google alle relevanten Daten an, die beim letzten Crawl-Versuch zustande kamen.

Hier erfährst du zunächst, woher Google die URL bekannt ist. Stammt sie aus einer Sitemap oder verweist eine andere Seite darauf? Auch diese Daten sollten zunächst geprüft werden. Ist die URL wirklich noch in der Sitemap? Existiert die angegebene Seite mit der Verlinkung und ist darauf wirklich ein Link zur fehlerhaften Seite?

Hilfreich ist es, auch die Live-URL zu überprüfen. Dazu klickst du oben rechts auf den Button „Live-URL testen“. Dies ist vor allem ratsam, wenn du dir Crawling-Fehler anschaust, deren Ursache für das Problem nicht eindeutig ist. Google überprüft dann kurz den Live-Status der betroffenen Seite. Häufig lassen sich damit Fehler schon klären. Es kommt nicht selten vor, dass das Problem nicht mehr existiert und die Seite einen gültigen Statuscode ausweist. Oder die Search Console aktualisiert den Fehler und konkretisiert ihn.

Zu sehen ist ein Screenshot des URL-Prüftools mit den verschiedenen Einstellungen.
Das URL-Prüftool. Links die Angaben aus dem Index;
rechts die aktualisierten Fehler nach Abruf der Live-URL

Beim Analysieren einzelner URLs solltest du auch wieder nach Mustern Ausschau halten. Sind vielleicht alle angezeigten 404-Fehlerseiten in der Sitemap verlinkt? Dann sollte die Sitemap unbedingt aktualisiert werden, sodass sie nur gültige URLs enthält. Vielleicht gibt es noch eine veraltete Seite mit veralteten Links, die einfach nur angepasst werden muss. Die Fehlerursachen müssen hier individuell analysiert und behoben werden. Falsch geschriebene URLs sollten angepasst, nicht mehr existierende Seiten eventuell auf thematisch passende Seiten weitergeleitet werden. Hierbei gilt es zu beachten, dass Weiterleitungen auch wirklich hilfreich und sinnvoll sind. Sieht Google das neue Weiterleitungsziel nicht als thematisch passend an, so wird die Weiterleitung als Soft 404-Fehler angesehen.

Es müssen zudem nicht alle 404-Fehler behoben werden. Gerade für größere und ältere Seiten ist es völlig normal, dass bestimmte Inhalte nicht mehr existieren. Dies kann zum Beispiel passieren, wenn ein Onlineshop sein Sortiment aktualisiert. Die nicht mehr vorhandenen Produkte müssen dann nicht weitergeleitet werden.

Fazit: Prüfe die Daten und erkenne Muster

Die Google Search Console ist ein mächtiges Tool, um etwaige Probleme auf deiner Website festzustellen. Doch solltest du die angezeigten Daten stets überprüfen und schauen, ob die genannten Fehler überhaupt noch existieren oder wirklich relevant sind. Wirklich Zeit kannst du dir sparen, indem du die fehlerhaften URLs sinnvoll gruppierst und dann nach Mustern schaust. So musst du nicht jede einzelne URL individuell überprüfen. Denn gerade bei größeren Websites kann dies immens viel Zeit in Anspruch nehmen.

guest
0 Kommentare
Inline Feedbacks
View all comments