Sitemap in der robots.txt hinterlegen

Paar Bspe ganz am Ende der
https://www.google.com/robots.txt
Natürlich kannst Domain auch weglassen, wenn Sitemap in selber liegt wie robots.txt.

Und "korrekt" ist das eigentlich nicht, da das eine Erfindung von Google ist, Sitemap in robots.txt und viele andere Suchmaschinen gar nicht interessiert. Stört sie aber auch nicht weiter, der Eintrag.

Nein. Diese robots.txt ist ganz individuell für die Google-Webseite selbst. Wollte dir nur das Sitemap zeigen und das war die erste, die ich zufällig gefunden hatte, wo Sitemap drinnen ist.

Klar kann man auch ähnliche Zeilen in seiner robots.txt verwenden, aber diese speziellen sind komplett Quatsch.

Die Joomla-robots.txt des aktuellen Joomla-Pakets ist schon richtig wie sie ist. Und da halt noch dein Sitemap rein. https://github.com/joomla/joomla-…robots.txt.dist

Ob du noch weitere Zeilen benötigst, wird dir Google Webmastertools im Laufe der Zeit unter "blockierte Ressourcen" anzeigen. Im SEO-Bereich des Forums gibt es dazu auch schon Threads. Geht dbei um paar wenige zuinstallierte Erweiterungen, die nicht ganz auf Stand sind.

Das Allow ist übrigens auch eine Google-Erfindung und wird nicht von allen Suchmaschinen beachtet.

Tutorial für die robots.txt: https://de.onpage.org/wiki/Robots.txt
Zeile für die Sitemap: Sitemap: http://www.domain.de/sitemap.xml

Das kann man machen und in der Regel schadet es auch nicht. In Kreisen in denen es einen hohen Konkurrenz- oder gar Neiddruck gibt, versucht man einen anderen Weg zu gehen.
Man benennt die Sitemap ganz anders und teilt die URL nur Google in der Search Console mit. Hintergrund: Man will es den Mitbewerbern nicht ganz so einfach machen, sich einen Überblick über das Projekt verschaffen zu können.