Hi Faro,
habe das gerade mal 1:1 getestet - meinen user agent auf AhrefsBot gesetzt - hat funktioniert (403).
Sonst füge doch der robots.txt noch die Sperre hinzu.
User-agent: AhrefsBot
Disallow: /
Gruß
Pascal
Sonst füge doch der robots.txt noch die Sperre hinzu.
User-agent: AhrefsBot
Disallow: /
Wo genau muss ich diese zwei Zeilen eintagen? In der robots.txt steht ja meine eigene Seite drin:
User-agent: *
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /modules/
Disallow: /plugins/
Disallow: /tmp/
Müsste eigentlich trotzdem greifen. Im Zweifel kannst du es in anderer Reihenfolge testen.
Meinen Test habe ich im Chrome mit diesem Addon gemacht: https://chrome.google.com/webs…nnghcpgmbpiodgofeklkpahoe
Die 2 Zeilen kannst du einfach am Anfang der robots.txt platzieren.
Hallo Pascal,
vielen Dank für deine Hilfe zu später Stunde. 
Der Ahrefsbot ignoriert wie vermutet die "robots.txt"
Das Ändern der Reihenfolge der Einträge in der ".htaccess" ergab leider auch keine Veränderungen.
Was bedeuten eigentlich die Zeichen: [NC]? wenn ich diese wie in anderen Beispielen beschrieben z.b. auf: [OR] ändere, ist meine Seite nicht mehr erreichbar.
[NC] heißt, dass Groß-/Kleinschreibung egal ist.
Wie gesagt - bei mir hat es genau so funktioniert, wie du es im Eingangspost stehen hast.
Im Admintools Stil könntest du es evtl. noch probieren.
SetEnvIf user-agent "AhrefsBot" stayout=1
<IfModule !mod_authz_core.c>
deny from env=stayout
</IfModule>
<IfModule mod_authz_core.c>
<RequireAll>
Require all granted
Require not env stayout
</RequireAll>
</IfModule>
Im Admintools Stil könntest du es evtl. noch probieren.
Was meinst Du damit genau? meinst Du die Erweiterung "Admintools von Akeeba?
Ja, die von Admintools erzeugte .htaccess sperrt Bots auf diesem Weg aus.
Hast du es denn mit der Chrome Erweiterung getestet oder wie stellst du fest, dass es nicht funktioniert?
Was ist denn die page.restrictor.log?
Hat die was mit EasyCalcCheck+ zu tun?
Vielleicht wird der bereits geblockt und taucht halt (daher) im Log auf?
Schau dir sonst mal das access.log an. Darin müssten die AhrefsBot Aufrufe auch auftauchen, mit einem 403 - forbidden, wenn alles richtig läuft...
Was ist denn die page.restrictor.log?
Ich nutze den Bottrap Spamschutz, zu diesem gehört diese "page.restrictor.log" und ja, die Logdatei zeigt mir die blockierten Zugriffe an.
Nun wollte ich aber den Ahrefbot von vorn herein mit der .htaccess aussperren, damit er erst gar nicht mehr über "bottrap" geblockt werden muss.
Davon gehe ich aus, dass der server-/hosterseitige Bottrap Spamschutz vor der .htaccess greift.
Mit der Log Datei musst du wohl leben, wenn die sich nicht deaktivieren lässt. Stört aber doch auch nicht, wenn die keine hunderte MB auf deinem Webspace belegt. Ganz im Interesse des Hosters wird die doch bestimmt auch irgendwann archiviert/gelöscht?
Davon gehe ich aus, dass der server-/hosterseitige Bottrap Spamschutz vor der .htaccess greift.
Mit der Log Datei musst du wohl leben, wenn die sich nicht deaktivieren lässt. Stört aber doch auch nicht, wenn die keine hunderte MB auf deinem Webspace belegt. Ganz im Interesse des Hosters wird die doch bestimmt auch irgendwann archiviert/gelöscht?
Ja, ich lösche sie händisch per FTP. Der Ahrefbot ist halt nur in den letzten zwei Wochen mächtig agressiv geworden, sodaß sich diese Logdatei in weinigen Tagen auf einige MB nur mit Text aufbläht. Ich weiß nur nicht, ob daduch nicht zuviel Serverlast entsteht?
Aber Bottrap arbeitet nicht Hosterseitig, den habe ich als Joomlaplugin selbst Installiert.
Dann wiederrum müsste die .htaccess vorher greifen.
Poste bitte mal Access Log und dazu passende page.restrictor.log Auszüge.
Auf den Code oder Spoiler Button klicken! 
Das sollen keine hunderte Zeilen sein, sondern ein paar relevante zu den AhrefsBot Zugriffen.
Hast du denn inzwischen mal die Chrome Extension getestet? Gibt das einen 403? Taucht der Zugriff dann ebenfalls im .restrictor.log auf?
Ich habe gerade mal in die Serverlogs reingesehen, die sind auch Randvoll mit Ahrefs Zugriffe. 