Problem mit google bot, 404 Fehler

    Hallo,


    Ich habe folgende Meldung von Google bekommen:

    Zitat

    Der Googlebot für Smartphones hat eine erhebliche Zunahme der Anzahl der URLs von http://www.kolping-hohenfels.de/ festgestellt, die den Fehler "404 (nicht gefunden)" zurückgeben. ...


    Aus seiner Auflistung habe ich bei der Überprüfung festgestellt, dass es sich um Links handelt, die eigentlich nur nach einem Login zugänglich sind.
    Ein monierter Link ist zum Beispiel: fotogalerie/gemeinde/2013/buechsenknall-und-blasenschwaeche/buechsenknall-und-blasenschwaeche-13-11144.html


    Wenn ich eingeloggt bin, lautet der Link vollständig: http://www.kolping-hohenfels.d…enschwaeche-13-11144.html


    Ich habe alle Punkte des Usermenüs nur für registrierte Mitglieder freigegeben. Mitglieder können zum einen das Foto in der Originalgröße ansehen und zum anderen downloaden. Wieso kann Googlebot diesen Link überhaupt aufrufen?


    Öffentlich ist der Link über das Menü zweimal erreichbar:
    Aktuell/Fotogalerie
    http://www.kolping-hohenfels.d…enschwaeche-13-11144.html
    Hohenfelser Land/Gemeinde/Fotogalerie
    http://www.kolping-hohenfels.d…enschwaeche-13-11144.html


    Ist es möglich und sinnvoll, Googlebot durch eine Anweisung in der robots.txt auszusperren.


    Gruß Dietmar

    Zitat von jdgf

    Ich habe alle Punkte des Usermenüs nur für registrierte Mitglieder freigegeben.


    Wenn es ein eigenes Usermenü-Modul ist, sollte auch das Modul auf registriert stehen.
    Wenn die URLs die nur für registrierte zugänglich sind mit 404 ausgegeben werden ist das meines Erachtens gut, da diese doch sowieso nicht indexiert werden sollen.
    Wahrscheinlich werden die URLs aus Deiner Suche generiert.

    Zitat von jdgf

    Ist es möglich und sinnvoll, Googlebot durch eine Anweisung in der robots.txt auszusperren.


    Nur wenn Du gänzlich aus der Googlesuche rausfallen willst. Wie erwähnt, ich halte die 404 nicht als Problem.