Noindex oder robots-Sperre: Der Unterschied

Eine Seite soll manchmal erreichbar, aber nicht in Suchergebnissen sein. Dafür wird häufig noindex genutzt; eine robots-Sperre hat einen anderen Zweck.

Noindex muss gesehen werden

Ein noindex-Meta-Tag oder HTTP-Header teilt einem Crawler mit, dass eine Seite nicht indexiert werden soll. Damit er das Signal erkennt, muss er die Seite im Regelfall abrufen dürfen. Wenn dieselbe URL per robots.txt gesperrt ist, kann der Crawler die noindex-Angabe unter Umständen nicht lesen. Eine solche Kombination kann verwirren. Bei einer dauerhaft entfernten Seite können Statuscode oder Weiterleitung besser passen. Prüfen Sie zuerst, welches Ergebnis Sie wirklich möchten.

Typische Anwendungsfälle

Interne Suchergebnisse oder technische Bestätigungsseiten brauchen oft keinen Platz in der öffentlichen Suche. Eine wertvolle Leistungsseite dagegen sollte nicht versehentlich noindex tragen. Bei Testsystemen reicht noindex allein nicht als Zugriffsschutz. Sensible Daten gehören hinter eine Anmeldung. Machen Sie eine Liste der Seitentypen, für die Indexierung erwünscht ist. So fallen Fehler bei neuen Templates schneller auf. Eine einzelne falsche Template-Regel kann viele Seiten zugleich betreffen.

Kontrollieren Sie die Ausgabe

Lesen Sie bei einer wichtigen URL den tatsächlichen HTML-Quelltext beziehungsweise die HTTP-Header und prüfen Sie die URL in der Search Console. Wenn dort „durch noindex ausgeschlossen“ steht, suchen Sie die Ursache im Template oder einer SEO-Einstellung. Nehmen Sie Änderungen vorsichtig vor und prüfen Sie danach mehrere repräsentative Seiten. Indexierung kann nach einer Korrektur Zeit brauchen; eine Anforderung zur erneuten Prüfung ist keine sofortige Zusage.

Ein typischer Widerspruch

Eine Danke-Seite nach einer Anfrage soll nicht in Suchergebnissen erscheinen. Sie ist aber per robots.txt gesperrt und enthält gleichzeitig noindex. Der Crawler kann das noindex möglicherweise nicht lesen. Wenn die Seite öffentlich abrufbar sein muss, kann eine alleinige noindex-Regel passender sein; wenn sie sensible Informationen zeigt, ist Zugangsschutz die entscheidende Maßnahme. Klären Sie zuerst die Nutzungsanforderung. Prüfen Sie anschließend den tatsächlich ausgelieferten HTTP-Header oder HTML-Tag. Kopieren Sie keine Regel aus einer Anleitung, ohne ihren Zweck auf Ihre Seite zu übertragen.

Weiterlesen: Google: Crawling und Indexierung