crawling Fehler

dirk63

Hi zusammen,

neuerdings wirft mir Seobility seltsame crawling-Fehler-Meldungen heraus, z.b. sowas:

und schlimmer.

Die default-Einsellungen meiner Seite sind "noindex/nofollow" und ich pflege nur die Seiten indizieren zu lassen, die ich auch indizieren will. Hierfür habe ich auch mit dem "noindex4pg"-plugin die Komponenten "com_eventsbooking" und "com_finder" nochmals gesondert auf "noindex/nofollow" (das jemand von euch freundlicherweise zur Verfügung gestellt hatte) gesetzt, weil Joomla das nicht tut. Das funktionierte bislang auch gut. Wie kann es, dass der Crawler auf einmal so etwas produziert?

Stef

Zitat von dirk63

und schlimmer.
Die default-Einsellungen meiner Seite sind "noindex/nofollow"...

Gemäss Quelltext nicht.

christine2

Zitat von dirk63

Die default-Einsellungen meiner Seite sind "noindex/nofollow" und ich pflege nur die Seiten indizieren zu lassen, die ich auch indizieren will. Hierfür habe ich auch mit dem "noindex4pg"-plugin die Komponenten "com_eventsbooking" und "com_finder" nochmals gesondert auf "noindex/nofollow" (das jemand von euch freundlicherweise zur Verfügung gestellt hatte) gesetzt, weil Joomla das nicht tut. Das funktionierte bislang auch gut. Wie kann es, dass der Crawler auf einmal so etwas produziert?

Beziehst Dich wahrscheinlich auf:
RE: Modul überschreibt noindex, nofollow-Regeln (ab #5).

Kannst auch probieren:

Wenn Komponente com_xy, spezifischen robots-Tag setzen – GHSVS-Dein Web mit Mehr

Joomla-Plugin. Bei z.B. Komponente com_xy einen spezifischen robots-Tag im Frontend in die Webseite einsetzen.

ghsvs.de

Re:Later ev. mehr Infos? Danke.

Liebe Grüße
Christine

dirk63

Zitat von Stef

Gemäss Quelltext nicht.

Ich meine diese default-Einstellungen. Natürlich will ich meine Startseite indizieren.

dirk63

Zitat von christine2

Beziehst Dich wahrscheinlich auf:
RE: Modul überschreibt noindex, nofollow-Regeln (ab #5).
Kannst auch probieren:
https://ghsvs.de/programmierer-…bots-tag-setzen
Re:Later ev. mehr Infos? Danke.
Liebe Grüße
Christine

Danke für den Tip. Habe male versucht, den Finder damit auf die Noindex-Liste zu setzen, macht aber keinen Unterschied zu noindex4pg, er wird trotzdem geparst.

Nun, ich habe ja auch keine neuen Module installiert, die da relevant sein könnten, und bis vor ein paar Tagen hat das Problem nicht bestanden. Ich hatte erst gedacht, dass das Problem bei Seobility liegt, aber bei 2 anderen meiner Seiten besteht es nicht.

christine2

Vielleicht durch dieses SeobilityDingens selber gebastelt.

Auf der Seite https://tantra-lebensart.de/nonduales-tant…terialien/texte

a) ist im Quelltext 1x der Link /component/finder/search?q=&Itemid=335 im Menü "Service" unten zu finden.

b) Eventuell bringt es, dieses Menü-Item "Seite durchsuchen" erst mal sauber einzustellen, also dass dann irgendwas der Art /suche/... im Menü unten steht statt /component/finder .
Also diese Suchseite erst mal sauber einrichten.

c) Und mit dem Plugin hat das wohl nix zu tun.
Man könnte höchstens diese Sucheseite für Bots ausschließen mit noindex/nofollow , wenn man nach Säubern des Menü-Items (siehe b) ein "com_finder" im Plugin einträgt.
Also dann in dem neueren, was oben in #3 verlinkt ist.

Liebe Grüße
Christine

christine2

Zeitüberschreitung.

Siehe hier:

JoomlaWunder

1. Warum steht folgende URL überhaupt in der sitemap.xml?
Tantraseminare nondual - kaschmirisches Tantra

2. Sind die Probleme erst entstanden, nachdem du dieses Plugin installiert hast oder existierten diese schon vorher?
3. Sind in der configuration.php die Einträge für $live_site und $cookie_domain leer?

Nebenbei: Warum schließt du viele user-agents über die robots.txt von der Indexierung aus, die sich eh nicht an die Vorgaben in der robots.txt halten. Sperre diese besser über die .htaccess!

JoomlaWunder

Zeitüberschreitung:

Und diese in #8 erwähnte URL hat auch noch eine Priorität von 0.8. Warum das für eine Seite ohne Inhalt?

dirk63

Zitat von christine2

Zeitüberschreitung.
Siehe hier:

Danke! Habe ich gemacht, und schon sind es ein paar tausend Fehlermeldungen weniger. Dann noch mit ein paar Redirects hinterhergeräumt wg 404. Und jetzt habe ich bei Seobility noch 12 Seiten mit Timeout-Fehlern, obwohl die eigentlich schnell starten.

dirk63

Zitat von JoomlaWunder

Zeitüberschreitung:
Und diese in #8 erwähnte URL hat auch noch eine Priorität von 0.8. Warum das für eine Seite ohne Inhalt?

Danke für den Hinweis. Ich hatte nur provisorisch eine neue sitemap.xml eingesetzt, nachdem ich dachte, das Problem hätte etwas mit Veränderungen an der Menüstruktur zu tun (ich hatte mein überbordendes Accordion-Menü auf Kategorienlisten verschlankt und damit viele Hauptmenüpnkte ins Hidden-Menü geschickt. Mir war nicht klar, ob SEO damit ein Problem hat). Habe jedenfalls den Punkt jetzt rausgenommen.

dirk63

Zitat von JoomlaWunder

1. Warum steht folgende URL überhaupt in der sitemap.xml?
https://tantra-lebensart.de/component/find…h?q=&Itemid=335
2. Sind die Probleme erst entstanden, nachdem du dieses Plugin installiert hast oder existierten diese schon vorher?
3. Sind in der configuration.php die Einträge für $live_site und $cookie_domain leer?

Nebenbei: Warum schließt du viele user-agents über die robots.txt von der Indexierung aus, die sich eh nicht an die Vorgaben in der robots.txt halten. Sperre diese besser über die .htaccess!

1. steht nicht mehr drin (s.o.)

2. wenn du noindex4pg meinst, das war schon lange vor Auftauchen des Problems installiert.

3. ja, sind beide leer

user-agents: Danke für den Hinweis! Wie ist denn die Syntax für die .htaccess?

JoomlaWunder

Zitat von dirk63

user-agents: Danke für den Hinweis! Wie ist denn die Syntax für die .htaccess?

So was in dieser Art:

RewriteCond %{HTTP_USER_AGENT} ^Xenu [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^Zeus [NC]
RewriteCond %{REQUEST_FILENAME} !^.*robots\.txt$
RewriteRule ^.* - [F]

Für die robots.txt kann man so auch zusätzlich eine Ausnahme machen.
Es gibt weitere Varianten. Hin- und wieder müssen auch Anpassungen vorgenommen werden, wenn sich user-agents ändern. Der ganz normale Wahnsinn eben.

dirk63

Zitat von JoomlaWunder

So was in dieser Art:
RewriteCond %{HTTP_USER_AGENT} ^Xenu [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^Zeus [NC]
RewriteCond %{REQUEST_FILENAME} !^.*robots\.txt$
RewriteRule ^.* - [F]
Für die robots.txt kann man so auch zusätzlich eine Ausnahme machen.
Es gibt weitere Varianten. Hin- und wieder müssen auch Anpassungen vorgenommen werden, wenn sich user-agents ändern. Der ganz normale Wahnsinn eben.

So habe ich es auch gegoogelt, es macht aber einen Serverfehler. An welcher Stelle sollte es denn in der .htaccess stehen?

JoomlaWunder

Zitat von dirk63

So habe ich es auch gegoogelt, es macht aber einen Serverfehler. An welcher Stelle sollte es denn in der .htaccess stehen?

Zumindest nach "RewriteEngine on".

Schau auch mal hier: https://docs.joomla.org/images/cache/5…urity%2529.html
Besonders auch wegen "Options +FollowSymLinks".

Tags