Aktulle Mobile Richtlinien von Google

Hallo,
ich habe das so gelernt, dass seriöse Suchmaschinen sich alles ansehen können und dies auch tun. Sie akzeptieren es aber, wenn ein Webmaster etwas nicht in Suchmaschinen gelistet sehen will. Demnach muss du also nur das eintragen, was nicht erlaubt ist.

Ob die Syntax stimmt kannst du hier prüfen.
https://support.google.com/webmasters/answer/6062598?hl=de

Viele Grüße
Astrid

Zitat von faro

Guten Morgen,

Ich wollte nun für Google meinen /media/ Ordner freigeben. Habe ich das so richtig gemacht?

User-agent: *
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/eigener_ordner_01/
Disallow: /media/eigener_ordner_02/
Disallow: /modules/
Disallow: /plugins/
Disallow: /tmp/

Zwei Ordner in /media/ sollen nicht freigegeben werden. Oder muss ich den Ordner /media/ extra noch auf "Allow: /media/" setzen?
Gruß Faro

Alles anzeigen

Nein, das passt so.

Hallo,

danke für Eure Antworten. Es ist wie Verhext, In meinen Webmastertools rufe ich unter "Crawling", "Abruf wie durch Google" auf, erhalte ich die Fehlermeldung, "Vorübergehend nicht erreichbar".

Bezieht Google diese Information aus der Liveseite oder aus dem eigenen Cache?

Danke und beste Grüße
Faro

Zitat von faro

erhalte ich die Fehlermeldung, "Vorübergehend nicht erreichbar".

Hier kann man die Bedeutung aller Statusmeldungen nachschlagen
https://support.google.com/webmasters/answer/6066472?hl=de

Zitat von Koile

Edit2: 76 Mobil / 89 Desktop mit aktiviertem Cachemodul in der .htaccess.
Mühsam ernährt sich das Eichhörnchen.

wie hat das bei dir geklappt? Hab den den Code von der Joomla Doku verwendet, aber bekomme trotzdem von PageSpeed die Meldung, dass meine Dateien alle kein Ablaufdatum hätten.

########## Begin - Optimal default expiration time
## Note: this might cause problems and you might have to comment it out by
## placing a hash in front of this section's lines
<IfModule mod_expires.c>
# Enable expiration control
ExpiresActive On
 
# Default expiration: 1 hour after request
ExpiresDefault "access plus 1 hour"
 
# CSS and JS expiration: 1 week after request
ExpiresByType text/css "access plus 1 week"
ExpiresByType application/javascript "access plus 1 week"
ExpiresByType application/x-javascript "access plus 1 week"
 
# Image files expiration: 1 month after request
ExpiresByType image/bmp "access plus 1 month"
ExpiresByType image/gif "access plus 1 month"
etc.

Glaube, das lag irgendwie an dem ExpiresByType.

Mach's mit FilesMatch. Leichter handzuhaben anstatt mit Mime-Typen.

So in dieser Art:

<IfModule mod_expires.c>
 ExpiresActive On
 <FilesMatch "\.(css|js)$"> 
  ExpiresDefault "access 1 month" 
 </FilesMatch>
 <FilesMatch "\.(jpg|jpeg|gif|png|ico)$"> 
  ExpiresDefault "access 6 months" 
 </FilesMatch>
 <FilesMatch "\.(mp3|flv|pdf|woff|eot|ttf|otf|woff|svg)$"> 
  ExpiresDefault "access 1 year" 
 </FilesMatch>
</IfModule>

(Mit PageSpeed getestet. Grundlegend also mal richtig.)

nachtrag.

Vergessen, da ich nur Kleinschrift verwende:
Wenn du Groß-Kleinschreibung = egal haben willst, musst du so formulieren

"\.(?i:css|js)$"

also 1 vorangestelltes ?i: für case-insensitive.
Musst selber noch mal prüfen, ob ich da richtig liege.

Komisch, habe deinen Code eingefügt, aber ohne Wirkung laut PageSpeed.

Die Beispieldatei aus der Joomla Doc scheint auch den Zugriff auf die Sitemap.xml zu sperren.
Jemand ne Idee welche Zeile dafür verantwortlich ist oder wie man die doch zulassen kann? Alles Auskommentieren hat bisher nichts gebracht.

Zitat

Komisch, habe deinen Code eingefügt, aber ohne Wirkung laut PageSpeed.

Bist du sicher, dass mod_expires läuft? Wie wirkt sich die Nicht-Wirkung aus? Hast du deine Header-Daten überhaupt gesichtet? Ich hatte bzgl. Cache bspw. einen Konflikt mit JCH Optimize Free oder wie heißt. PageSpeed beahuptete Kein Cache, war aber Cache. Keine Ahnung mehr, welche Einstellung es in JCH war oder, ob ich den Code geändert habe. Also JCH deaktivieren bis Cache verlässlich läuft.

Zitat

aus der Joomla Doc scheint auch den Zugriff auf die Sitemap.xml zu sperren.

Mach halt erst mal eins nach dem andern. Da gehts ja bei vielem nicht um SEO oder Cache in der dortigen htaccess. = overloaded Kuddelmuddel.
Und dir ist klar, dass die nicht 1:1 zu übernehmen ist, sondern an einigen Stellen anzupassen?

Zitat

Jemand ne Idee welche Zeile dafür verantwortlich ist oder wie man die doch zulassen kann? Alles Auskommentieren hat bisher nichts gebracht.

Nimm die originale htaccess von Joomla und füge dort schrittweise Zeilen hinzu. Prüfe, wann aussteigt. Lass weg, was dir nicht klar ist.

Außerdem steht auf der Seite "Joomla!2.5 Experimental". Ich persönlich finde ja, viel unnötiger Kram, den man vielleicht im Fall der Fälle nachrüstet und frühestens, wenn man halbwegs kapiert, wozu was da ist

Zitat von Alex

Nein, das passt so.

Ich habe diese Einstellungen nun so hochgeladen und abgewartet was Google dazu sagt.
Ergebnis:
Seit dem 04.05.2015 hat sich die Fehlerzahl für den /media/ Ordner drastisch verringert. Jedoch stieg nun ab dem 04.05.2015 die Fehlerzahl für den Ordner /components/ von 0 auf 48 und stätig steigend in die Höhe.

Da verstehe jemand Google.

Hat jemand eventuell eine Erklärung für dieses Verhalten?
Ich kann doch nicht alle Ordner in der "robots.txt" freigeben um in Richtung 0 Fehler zu gelangen?

Danke und beste Grüße
Faro

Zitat von "faro"

Hat jemand eventuell eine Erklärung für dieses Verhalten?

Wenn du Erweiterungen hast die aus Ihrem Verzeichnis CSS, png, jpg, etc. Dateien laden

@faro
Gib doch mal bitte detailliertere Info, was du mit "Fehler" meinst. Google sammelt über Wochen und Monate so viel Kram in den WMT, die ja nicht bedeuten müssen, dass du es nicht genau so haben willst, weil es besser für die Besucher und Index ist.
Oder redest du über das PageSpeed Tool? 2 Paar Stiefel.
Ich habe auf einer Pflegeseite seit jeh diverse Ordner gesperrt, z.B. auch images, ohne, dass jemals gemeckert wurde. Anders wäre es vielleicht(?), wenn ich Suchmaschinen jahrelang reingelassen hätte und jetzt nicht mehr. Dann sind mir aber die Meldungen wurst.
Wenn ich gestern erst entdecke, dass mailto-Links alles zumüllen, sperre ich sie und Google wird nach paar Wochen Meckerei auch klar damit kommen.
Oder, wir haben einen Test gemacht mit einer Seite, die laut PageSpeed "dolle mobil" ist, in Wirklichkeit aber durch eine für Google "versteckte" CSS-Anweisung gar nicht mehr responsiv ist. Gemeckert wird nicht, weder bei PS noch bei WMT.

Deshalb bitte Details und was dir denn eigentlich Sorgen bereitet. Danke.

@Re:Later
genau gesagt, geht es mir um die Googlefunktion "Blockierte Ressourcen" Ich hatte den Ordner /components/ schon immer gesperrt, und die Fehlerzahl war auch immer auf 0. Als ich dann am 04.05. den /media/ Ordner freigab, und sich die Fehlerzahl ab diesem Tag für den /media/ Ordner reduzierten, schoß dagegen ab diesem Tag die Fehlerzahl für den Ordner /components/ von 0 auf 48 und stätig steigend in die Höhe.

Ich verstehe den tieferen Sinn nicht, warum Google den Ordner /components/ Plötzlich von 0 auf 48 und mehr Fehler setzt.

Gruß Faro

Ok, warum das nun plötzlich kommt, kann ich dir nicht sagen (außer du hast zwischenzeitlich was installiert oder in einer Komponente Konfiguration geändert, so, dass jetzt diese irgendetwas lädt, was vorher nicht war).

Und welche Dateien es sind, wird dir doch angezeigt.

Bei mir bemängelt Google auch Seiten mit blockierten Ressourcen und nimmt sie seit 2 Monaten nicht aus der Zählung raus, die Google einen Dreck angehen, weil diese mittlerweile durch robots.txt gesperrt sind und aus dem Google-Index entfernt wurden.
Oder eine blank.gif, also ein 1 Pixel großes transparentes Bild, wegen dem der Monopolist meint, mir mit Abwertung drohen zu müssen.

Letztlich kannst du dich nur an Erweiterungsprogrammierer wenden und sie bitten, doch endlich CSS/JS in den media-Ordner zu verschieben, was schon lange unter Joomla so sein sollte. Oder eben wie du es ja schon mit

Zitat

Disallow: /media/eigener_ordner_02/

gemacht hast, auch für den /components/.

Google versteht ja auch das

Zitat

Allow:

was aber nicht alle Suchmaschinen verstehen (weshalb so Geschichten nicht in der Joomla-robots.txt sind).

Da sollte dann z.B. ein

Disallow: /plugins/
Allow: /plugins/system/lazyloadforjoomla/assets/images/blank.gif

ja funktionieren. Probier ich jetzt gleich mal aus

Bestätigt. So was in der Art funktioniert

Zitat

Disallow: /plugins/
Allow: /plugins/system/jcemediabox/css/
Allow: /plugins/system/lazyloadforjoomla/assets/images/blank.gif

Und noch eine Fundsache. Großes Webportal. 180 Seiten würden durch irgendein CSS blockiert. Das zugehörige Modul ist seit 4 Wochen deinstalliert. Man muss der alten Dame einfach Zeit geben, die sich jetzt ja mehr um anderen Kram kümmern muss, als relevante Inhalte auffindbar zu machen.
D.h. nicht so versierte WMT-Nutzer kramen auch in diesem Bereich über Monate veraltetem Zeugs hinterher, anstatt ihre Seiteninahlte zu pflegen. Goldene Zeiten für SEO-Scharlatane.

Na Ja, bei mir beruhigt sich die "Alte Dame" momentan etwas. Ich werde sie in den nächsten Wochen weiter beobachten, und dann auch gegebenenfalls mit "Allow" arbeiten.

Gruß Faro