Robots.txt
Die Robots.txt ist eine Datei, die Suchmaschinen mitteilt, welche Bereiche einer Webseite sie nicht abrufen sollen. Sie verhindert das Abrufen, nicht die Aufnahme in den Index.
Die Robots.txt sagt Suchmaschinen, welche Bereiche sie nicht abrufen sollen. Das klingt nach einer Sperre für den Index, ist es aber nicht.
Das Bild, an dem es hängt: Die Robots.txt ist ein Schild an der Tür, auf dem steht “nicht reinkommen”. Ein Noindex ist ein Zettel im Raum, auf dem steht “diese Seite bitte nicht aufnehmen”.
Jetzt der Punkt: Wenn Google draußen bleibt, liest es den Zettel nie. Verlinkt dann jemand anders auf die Seite, kann die Adresse trotzdem im Index landen, nur eben ohne Inhalt. Ein grauer Eintrag ohne Beschreibung.
Daraus folgt eine feste Regel: Entweder Robots.txt oder Noindex, nie beides für dieselbe Seite. Soll etwas raus aus dem Index, muss Google reinkommen dürfen, um den Zettel zu sehen.
Und der Klassiker, der jedes Jahr passiert: Während der Entwicklung sperrt man das Testsystem komplett. Beim Livegang bleibt die Sperre stehen. Die neue Seite ist online, sieht gut aus und ist für Google unsichtbar. Prüf das nach jedem Relaunch als Erstes.
Gehört inhaltlich dazu
Dazu ausführlicher im Blog
Manuel von Heugel
Geschäftsführer, von Heugel Marketing GmbH
Seit über 20 Jahren im Marketing zu Hause: als Berater, Ausbilder, Dozent, Grafiker und Programmierer. Hier schreibe ich über das, was Marketing wirklich erfolgreich macht – konkret, fundiert und ohne Umschweife.
Mehr über michDu willst Marketing, das dich sichtbar macht? Lass uns sprechen.
Kontakt aufnehmen