Google möchte CSS und JS Dateien crawlen dürfen -> erlauben?

    Hallo,


    Google schickt mir gerade eine Mail, dass ich CSS und JS Dateien in der Robots.txt freigeben soll, "weil sonst Google die Funktionsfähigkeit der Seite nicht bewerten kann und diese abgewertet wird".


    Wenn ich dies tun möchte, müsste ich dazu Ordner wie /plugins/ oder /moduls/ oder /templates/ zum Crawlen freigeben...


    Kann bzw. sollte man das tun oder besser nicht? Kann es dadurch irgendwelche anderen Probleme geben?


    Vielen Dank und Viele Grüße
    Thomas

  • Zum hilfreichsten Beitrag springen

    Hallo Thomas,


    die Ordner: Templates, Media und Images kannst Du problemlos freigeben. Bei Module und Plugins kannst Du unter dem befehl "Allow" in der tobots.txt nur die von Google gefragten Verzeichnisse freigeben.


    Gruß Faro

    Servus,


    ich hatte das Problem, dass mit "Allow" freigegebene Ordner nicht als freigegeben erkannt wurden. Erst die richtige Reihenfolge der Einträge half: zB. zuerst die Allow-Ordner von "/plugins", dann "Disallow: /plugins/" usw.


    Zusätzlich zum freigegebenen Ordner habe ich auch die css- bzw js-Datei mitangegeben.


    Servus

    Joomla 3.5.1, PHP 7.0.4, mySQLi 5.5.49-0

    Die Email habe ich heute ebenfalls erhalten. In den Webmastertools bei Google gibt es neuerdings bei wie-es-Googles-Robots-sieht (sinngemäß *g*) ein Rendern, wo der Webmaster sehen kann, sie die Homepage für den Robot aussieht. Darunter gibt es den Hinweis, welche Dateien durch die robots.txt vom Webmaster gesperrt wurden.


    Eine Verständnisfrage habe ich noch: Wenn ich jetzt den Bildordner meiner Internetseite im Robot auf disallow setze, hat das negative Auswirkungen auf das google-Ranking?

    • Hilfreich
    Zitat

    Eine Verständnisfrage habe ich noch: Wenn ich jetzt den Bildordner meiner Internetseite im Robot auf disallow setze, hat das negative Auswirkungen auf das google-Ranking?


    Lässt sich aus meiner Sicht nicht so exakt sagen. Bei einem größeren Portal haben wir viele Bilder, die wir nicht indexiert haben wollen und deshalb ein Disallow gesetzt haben. Seit einiger Zeit müllt Webmastertools uns jetzt die "blockierten Ressourcen" mit diesen Bildern zu, mit dem Hinweis


    Zitat

    Der Googlebot benötigt Zugriff auf viele Ressourcen auf Ihrer Seite, um die Seite optimal zu rendern und zu indexieren. So sollten beispielsweise JavaScript-, CSS- und Bilddateien für den Googlebot verfügbar sein, damit er die Seiten so sehen kann wie ein durchschnittlicher Nutzer.
    Wenn das Crawlen dieser Ressourcen durch die robots.txt-Datei einer Website verhindert wird, werden unter Umständen das Rendering und die Indexierung der Seite durch Google beeinträchtigt. Dies kann wiederum das Ranking der Seite in der Google-Suche beeinflussen.

    https://support.google.com/webmasters/answer/6153277


    Pistole auf die Brust. Ist sie geladen oder nicht?


    Wir denken trotzdem nicht daran, da die Bilder nur im Kontext von Autoren freigegeben sind, und werden die Seite, die kostenloses Wissen seit 15 Jahren publiziert aus dem Netz nehmen, da die ehrenamtliche Pflege und Up-To-Date-SEO-Optimierung uns Schweinezeit gekostet hat (und kostet) und Inhalte wohl nicht mehr zählen; und wer diese zuerst ins Netz brachte. PDFs auf anderen Domains, die teils selbe Inhalte + Bilder haben (nach Absprache mit uns) und über Jahre unterhalb unserer Seite rankten, rutschen merkbar nach oben und überholen uns teils. Wir sehen einfach nicht warum und analysieren seit Jahren wöchentlich.


    Eigentlich wollte ich nur sagen ;)


    Fürs Google-SEO ist, nach der Drohung oben, wohl das beste, wenn man Bildersuche nicht haben möchte:


    /images/ kein Disallow.


    Dafür aber


    Code
    User-Agent: Googlebot-ImageDisallow: /


    Dann hast natürlich wieder die ganzen andern Zecken, die deine Bilderordner crawlen. Diese akzeptieren nicht alle etwas in der Art


    Code
    User-agent: BlubberBot
Disallow: /images


    sondern nur ein pauschales Disallow. Das Allow verstehen nur einige Bots, aber eben nicht nur Google.


    Musst halt dann rumprobieren, Log-Dateien sichten, ob's klappt oder z.B. Plugin programmieren, das 403/404 für bestimmte Crawler in bestimmten Ordnern schmeißt. Geht dann wieder auf die Performance, was Google dann wieder bemängelt ;)

    Um es für mich als "Semi-Profi-Laie" zusammenzufassen: Gebe ich dem Googlebot nicht Zugriff auf alle seiner im WMT angegebenen gesperrten Bereiche, wird meine Seite, irgendwann, weniger attraktiv in der Googlesuche erscheinen.

    ah, danke Anka! Dort das Feld "Ressourcen ansehen", auch wenn alles auf "Grün" ist....


    Merci deGobbis, habe es inzwischen gefunden ;)


    Mittlerweile habe ich gesehen, dass man in Webmaster-Tools den Test noch etwas genauer ausführen kann und die blockierten Ressourcen besser sieht.

    Zitat von oakmountain

    Habe mal deGobbis Zeilen in meine robots.txt kopiert.
    Funktioniert leider nicht.
    Bei mir werden immer noch "5 CSS or javascript files are blocked"


    Wieviel Zeit zwichen der Aktualisierung und der Googleabfrage ist Vergangen? Erfahrungsgemäß musst Du Google nch Aktualisierung der "robots.txt" 3 - 5 Tage Zeit geben.


    Gruß Faro

    Hast Du /media/ auch auf Allow?
    Das:


    funktioniert bei mir ganz hervorragend.

    Hab mal irgendwo gelesen, dass machche Bots regelrecht Gallich werden, wenn Sie ein "Disallow" finden, hinter welchem sich kein Ordner bzw. kein Inhalt hinter diesem Ordner befindet. :D Einige schmeißen da auch mal gerne ne Log-php rein um zu sehen, wer sich so alles nicht an das "Disallow" hält. 8o