Hallo Thomas,
die Ordner: Templates, Media und Images kannst Du problemlos freigeben. Bei Module und Plugins kannst Du unter dem befehl "Allow" in der tobots.txt nur die von Google gefragten Verzeichnisse freigeben.
Gruß Faro
Servus,
ich hatte das Problem, dass mit "Allow" freigegebene Ordner nicht als freigegeben erkannt wurden. Erst die richtige Reihenfolge der Einträge half: zB. zuerst die Allow-Ordner von "/plugins", dann "Disallow: /plugins/" usw.
Zusätzlich zum freigegebenen Ordner habe ich auch die css- bzw js-Datei mitangegeben.
Servus
Die Email habe ich heute ebenfalls erhalten. In den Webmastertools bei Google gibt es neuerdings bei wie-es-Googles-Robots-sieht (sinngemäß *g*) ein Rendern, wo der Webmaster sehen kann, sie die Homepage für den Robot aussieht. Darunter gibt es den Hinweis, welche Dateien durch die robots.txt vom Webmaster gesperrt wurden.
Eine Verständnisfrage habe ich noch: Wenn ich jetzt den Bildordner meiner Internetseite im Robot auf disallow setze, hat das negative Auswirkungen auf das google-Ranking?
Eine Verständnisfrage habe ich noch: Wenn ich jetzt den Bildordner meiner Internetseite im Robot auf disallow setze, hat das negative Auswirkungen auf das google-Ranking?
Insofern, dass Du über die Bildersuche nicht gefunden wirst.
Ich hab da grad was im Test, dass scheint zu funktionieren 
....
User-agent: *
Allow: /**/gzip.php?*$
Allow: /**/*.css?*$
Allow: /**/*.js?*$
Allow: /**/*.css$
Allow: /**/*.js$
Disallow: /administrator/
....
Eine Verständnisfrage habe ich noch: Wenn ich jetzt den Bildordner meiner Internetseite im Robot auf disallow setze, hat das negative Auswirkungen auf das google-Ranking?
Lässt sich aus meiner Sicht nicht so exakt sagen. Bei einem größeren Portal haben wir viele Bilder, die wir nicht indexiert haben wollen und deshalb ein Disallow gesetzt haben. Seit einiger Zeit müllt Webmastertools uns jetzt die "blockierten Ressourcen" mit diesen Bildern zu, mit dem Hinweis
Der Googlebot benötigt Zugriff auf viele Ressourcen auf Ihrer Seite, um die Seite optimal zu rendern und zu indexieren. So sollten beispielsweise JavaScript-, CSS- und Bilddateien für den Googlebot verfügbar sein, damit er die Seiten so sehen kann wie ein durchschnittlicher Nutzer.
Wenn das Crawlen dieser Ressourcen durch die robots.txt-Datei einer Website verhindert wird, werden unter Umständen das Rendering und die Indexierung der Seite durch Google beeinträchtigt. Dies kann wiederum das Ranking der Seite in der Google-Suche beeinflussen.
https://support.google.com/webmasters/answer/6153277
Pistole auf die Brust. Ist sie geladen oder nicht?
Wir denken trotzdem nicht daran, da die Bilder nur im Kontext von Autoren freigegeben sind, und werden die Seite, die kostenloses Wissen seit 15 Jahren publiziert aus dem Netz nehmen, da die ehrenamtliche Pflege und Up-To-Date-SEO-Optimierung uns Schweinezeit gekostet hat (und kostet) und Inhalte wohl nicht mehr zählen; und wer diese zuerst ins Netz brachte. PDFs auf anderen Domains, die teils selbe Inhalte + Bilder haben (nach Absprache mit uns) und über Jahre unterhalb unserer Seite rankten, rutschen merkbar nach oben und überholen uns teils. Wir sehen einfach nicht warum und analysieren seit Jahren wöchentlich.
Eigentlich wollte ich nur sagen 
Fürs Google-SEO ist, nach der Drohung oben, wohl das beste, wenn man Bildersuche nicht haben möchte:
/images/ kein Disallow.
Dafür aber
User-Agent: Googlebot-ImageDisallow: /Dann hast natürlich wieder die ganzen andern Zecken, die deine Bilderordner crawlen. Diese akzeptieren nicht alle etwas in der Art
User-agent: BlubberBot
Disallow: /imagessondern nur ein pauschales Disallow. Das Allow verstehen nur einige Bots, aber eben nicht nur Google.
Musst halt dann rumprobieren, Log-Dateien sichten, ob's klappt oder z.B. Plugin programmieren, das 403/404 für bestimmte Crawler in bestimmten Ordnern schmeißt. Geht dann wieder auf die Performance, was Google dann wieder bemängelt
Um es für mich als "Semi-Profi-Laie" zusammenzufassen: Gebe ich dem Googlebot nicht Zugriff auf alle seiner im WMT angegebenen gesperrten Bereiche, wird meine Seite, irgendwann, weniger attraktiv in der Googlesuche erscheinen.
Nein, Du hast "nur" vom Bilderorder gesprochen.
Niemand weiß wie sich die Rankingkriterien ändern. Boabachten und reagieren ist die Devise.
Gut, dann werde ich mal schauen wie es so weitergeht mit Google.
hi! gibt es ein Methode um zu testen, ob das auch wirklich funktioniert?
Alles anzeigenIch hab da grad was im Test, dass scheint zu funktionieren
Spoiler anzeigen
....
User-agent: *
Allow: /**/gzip.php?*$
Allow: /**/*.css?*$
Allow: /**/*.js?*$
Allow: /**/*.css$
Allow: /**/*.js$
Disallow: /administrator/
....
Hallo Joe
Das scheint tatsächlich zu funktionieren. Kannst es hier nachprüfen.
hi! gibt es ein Methode um zu testen, ob das auch wirklich funktioniert?
Ja, in den Webmastertools. Da kannst du die robots.txt prüfen lassen und auch URL's testen. Da wird dir dann genau angezeigt welche Passage in der Datei deine URL blockt oder freigibt.
ah, danke Anka! Dort das Feld "Ressourcen ansehen", auch wenn alles auf "Grün" ist....
Merci deGobbis, habe es inzwischen gefunden
Mittlerweile habe ich gesehen, dass man in Webmaster-Tools den Test noch etwas genauer ausführen kann und die blockierten Ressourcen besser sieht.
Habe mal deGobbis Zeilen in meine robots.txt kopiert.
Funktioniert leider nicht.
Bei mir werden immer noch "5 CSS or javascript files are blocked"
Habe mal deGobbis Zeilen in meine robots.txt kopiert.
Funktioniert leider nicht.
Bei mir werden immer noch "5 CSS or javascript files are blocked"
Wieviel Zeit zwichen der Aktualisierung und der Googleabfrage ist Vergangen? Erfahrungsgemäß musst Du Google nch Aktualisierung der "robots.txt" 3 - 5 Tage Zeit geben.
Gruß Faro
Hast Du /media/ auch auf Allow?
Das:
Allow: /**/gzip.php?*$
Allow: /**/*.css?*$
Allow: /**/*.js?*$
Allow: /**/*.css$
Allow: /**/*.js$
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
# Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /tmp/
funktioniert bei mir ganz hervorragend.
ich glaube "11. Disallow: /installation/" kann raus, da der Ordner nach der Installation eh gelöscht wurde oder?
Gruß Faro
ich glaube "11. Disallow: /installation/" kann raus, da der Ordner nach der Installation eh gelöscht wurde oder?
Theoretisch ja, aber es frißt auch kein Brot, wenn es drin steht.
Hab mal irgendwo gelesen, dass machche Bots regelrecht Gallich werden, wenn Sie ein "Disallow" finden, hinter welchem sich kein Ordner bzw. kein Inhalt hinter diesem Ordner befindet. 
Einige schmeißen da auch mal gerne ne Log-php rein um zu sehen, wer sich so alles nicht an das "Disallow" hält. 
