Google crawlt die Website nicht richtig: Ursachen und Lösungen

Du hast neue Inhalte veröffentlicht, aber Google zeigt sie seit Wochen nicht in den Ergebnissen? Oder du bemerkst, dass bestimmte Seiten verschwunden sind? Das Crawling-Problem ist häufiger als gedacht und hat meistens eine von vier Ursachen, die du selbst beheben kannst.

Die Google Search Console als erste Anlaufstelle

Öffne die Google Search Console und gehe zu "Seiten" (früher "Indexabdeckung"). Dort siehst du vier Kategorien:

• Fehler: Seiten, die Google crawlen wollte, aber nicht konnte
• Gültig mit Warnung: Indexiert, aber mit Auffälligkeiten
• Gültig: Alles in Ordnung
• Ausgeschlossen: Seiten, die Google absichtlich oder unabsichtlich nicht indexiert

Die Kategorie "Ausgeschlossen" ist besonders aufschlussreich. Wenn dort wichtige Seiten auftauchen, hast du ein Problem.

Fehler 1: Die robots.txt blockiert Google

Die robots.txt ist eine Textdatei unter deiner-domain.de/robots.txt, die Google sagt, welche Bereiche es nicht crawlen soll. Ein häufiger Fehler: Während der Website-Entwicklung wird die gesamte Website blockiert, und nach dem Launch vergisst jemand, das rückgängig zu machen.

Prüfe deine robots.txt und suche nach Zeilen wie "Disallow: /" für den User-agent Googlebot. Die sollte nach dem Launch nicht mehr vorhanden sein.

Fehler 2: Versehentlich noindex gesetzt

Ein noindex-Meta-Tag im HTML sagt Google: "Indexiere diese Seite nicht." Das ist für manche Seiten sinnvoll (Datenschutz, Danke-Seiten), aber nicht für deine Hauptinhalte. Prüfe in WordPress unter "Einstellungen > Lesen": Dort gibt es eine Checkbox "Suchmaschinen davon abhalten, diese Website zu indexieren". Diese muss deaktiviert sein.

Für individuelle Seiten schau in das SEO-Plugin (Yoast, RankMath) und prüfe, ob dort "noindex" gesetzt ist.

Fehler 3: Server-Fehler beim Crawling

Wenn Google eine Seite aufruft und der Server mit einem 500-Fehler antwortet, bricht Google den Crawl-Versuch ab. Bei häufigen Server-Fehlern reduziert Google sogar die Crawl-Frequenz für deine gesamte Domain. In der Search Console siehst du unter "Seiten" > "Server-Fehler (5xx)" betroffene URLs.

Typische Ursachen: überlastetes Hosting, PHP-Fehler nach einem Plugin-Update, Speicherprobleme auf dem Server.

Fehler 4: Crawl-Budget-Probleme bei großen Websites

Google hat ein begrenztes Budget, wie viele Seiten es pro Tag bei dir crawlt. Bei kleinen Websites (unter 1.000 Seiten) ist das selten ein Problem. Bei größeren Shops oder Portalen kann es sein, dass Google wichtige Seiten nicht oft genug crawlt, weil es zu viele unwichtige Seiten gibt (zum Beispiel Filterseiten, Suchergebnisse, Paginierungen).

Lösung: Unwichtige URL-Parameter in der Search Console ausschließen, Paginierte Seiten mit noindex versehen, dünne Inhalte zusammenführen oder entfernen.

Was tun, wenn alles zu komplex wird?

Crawling-Probleme können komplex werden, besonders wenn mehrere Ursachen gleichzeitig auftreten. Oft hängen sie zusammen mit dem Zustand des gesamten SEO-Audits. Wenn du nach einem Relaunch Crawling-Probleme bemerkst, ist unser Artikel Website nach Relaunch schlechter bei Google ein guter nächster Schritt. rocks.optimize analysiert Crawling-Probleme systematisch und behebt sie, ohne dass du dich durch technische Dokumentationen kämpfen musst.