Google behauptet: "noindex" wurde im HTTP-Header "X-Robots-Tag" gefunden. Ich kann das aber nicht nachvollziehen und auch nicht beseitigen.

Kallle · 18. Mai 2021

Seit einigen Tagen habe ich exakt das gleiche Problem wie in dem folgenden Thread bereits beschrieben. Auch bei meiner Webseite hat es sich irgendwann (von selbst?) eingestellt:

Beitrag

Durch "noindex"-Tag ausgeschlossen - aber ich finde den Tag nicht

Hallo,
die Homepage https://durth-roos.de war bis vor ca. 1 Monat ohne Probleme in Suchmaschinen zu finden und dann auf einmal nicht mehr.
Laut Google Search Console sind der Großteil der Seite durch "noindex"-Tag ausgeschlossen. Allerdings kann ich im Quelltext den Tag nicht finden und wüsste auch nicht woher er auf einmal kommen soll.
Die robots.txt ist noch die Original vom Joomla.
Vielleicht hat ja jemand einen Tipp für mich.

Viele Grüße,
Nils

Ergänzung von Google Search Console:
Indexierung…

DurthRoos

30. September 2020

Leider kann ich dem Threadverlauf nicht entnehmen, was bei dem TE zur Lösung des Problems geführt hat.

Die Webseite https://psychodynamisches-institut.de ist sowohl bei Google als auch Bing aus den Suchergebnissen verschwunden (sie war bis vor kurzem aber noch indiziert)!

Sowohl die .htaccess als auch die robots.txt habe ich testweise komplett deaktiviert. Leider ändert das gar nichts daran, dass Google bereits bei der Haupt-URL immer noch behauptet:

Indexierung zulässig? => Nein: "noindex" wurde im HTTP-Header "X-Robots-Tag" gefunden.

Ich kann das einfach nicht nachvollziehen. Im Quelltext dieser Webseite finde ich weder ein "noindex", noch ein "X-Robots-Tag". Die Konfiguration steht explizit auf "index, follow", so dass ich mich frage, woher Google (und Bing) dieses "noindex" eigentlich haben. Eine gründliche Suche in allen Kerndateien und auch in der Datenbank brachte mich ebenfalls nicht weiter.

Hat jemand hier eine Idee, wie ich es schaffe, dieses für mich nirgendwo sichtbare "noindex" zu entfernen, so dass Google und Bing die Webseite wieder indizieren?

Elwood · 18. Mai 2021

Keine Ahnung, aber vielleicht eine Codezeile in der .htaccess?

Elwood · 18. Mai 2021

Vielleicht das hier (aus: https://freetools.seobility.ne…nstitut.de%2F&crawltype=1)

Code

# If the Joomla site is installed within a folder such as at
# e.g. www.example.com/joomla/ the robots.txt file MUST be
# moved to the site root at e.g. www.example.com/robots.txt
# AND the joomla folder name MUST be prefixed to the disallowed
# path, e.g. the Disallow rule for the /administrator/ folder
# MUST be changed to read Disallow: /joomla/administrator/
#
# For more information about the robots.txt standard, see:
# http://www.robotstxt.org/orig.html
#
# For syntax checking, see:
# http://tool.motoricerca.info/robots-checker.phtml

User-agent: *
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /modules/
Disallow: /plugins/
Disallow: /tmp/

Alles anzeigen

JoomlaWunder · 18. Mai 2021

Nutzt du denn eine .htaccess? Dann wäre der Inhalt interessant. Womöglich wurde der Header dort gesetzt. So etwas in dieser Art:

Code

Header set X-Robots-Tag "noindex, nofollow"

Auf der anderen Seite sind die meisten Seiten ja indexiert, was ich so auf die Schnelle erkennen kann, Oder haben sich die indexierten Seiten in letzter Zeit deutlich reduziert?

Kallle · 18. Mai 2021

Zwischenzeitlich habe ich den Teufel gefunden: Es war tatsächlich eine .htaccess aber im Root-Verzeichnis, die da natürlich nicht hingehörte. Es war ein Flüchtigkeitsfehler von mir vor einigen Monaten - im Zusammenhang mit einer Nextcloud, die ebenfalls auf diesem Webspace gehostet und von einer speziellen externen Firewall geschützt wird. Bei jedem Update von Nextcloud, muss ich einige Dateien vorübergehend aus dem Unterverzeichnis verschieben (der Einfachheit halber ins Rootverzeichnis), so auch die .htaccess, die ihrerseits hauptsächlich die Firewall schützt, wo natürlich ALLES nicht indexiert werden darf. Da gab es den Eintrag: Header always set X-Robots-Tag "none". Kein Wunder, dass er nicht im Quelltext der Homepage auftauchte.

Und dann habe ich vergessen, sie nach dem Nextcloud-Update wieder in ihr richtiges Verzeichnis zu schieben. Schlamperei aber auch!

Elwood · 18. Mai 2021

Zitat von Elwood

Keine Ahnung, aber vielleicht eine Codezeile in der .htaccess?

Zitat

Es war tatsächlich eine .htaccess aber im Root-Verzeichnis, die da natürlich nicht hingehörte

Dann war das ja ein guter Tipp!

Aber natürlich gehört eine .htaccess in den Root von Joomla.

Entsprechend dann auch im Backend URL-Rewrite auf Ja stellen.

Und die Hinweise diesbezüglich im Backend beachten/überprüfen.

(umbenennen nicht vergessen: htaccess.txt in .htaccess umbenennen).

Kallle · 18. Mai 2021

Zitat von Elwood

Dann war das ja ein guter Tipp!

Aber natürlich gehört eine .htaccess in den Root von Joomla.
Entsprechend dann auch im Backend URL-Rewrite auf Ja stellen.
Und die Hinweise diesbezüglich im Backend beachten/überprüfen.

(umbenennen nicht vergessen: htaccess.txt in .htaccess umbenennen).

Alles anzeigen

Ja - in den Root des jeweiligen Joomla CMS.

Aber es gibt dort noch den übergeordneten Root des gesamten Webspaces. Der enthält mehrere unterschiedliche CMS und eine Nextcloud in mehreren Unterverzeichnissen. Und dann ist es fatal, in diesem übergeordneten Root die Anweisung Header always set X-Robots-Tag "none" zu haben, die sich ja dann auf alle CMS bzw. alle Unterverzeichnisse auswirkt.

Tags