Ich sehe gerade im Accesslog, dass der BingBot immer noch irgendwelche URL-Pfad-Angaben aufsucht, die auf den Terminkalender der Komponente JEM zugreifen. Lustigerweise habe ich den JEM schon seit einem Jahr nicht mehr installiert. Gebe ich jetzt die vom Bot gecrawlte URL ein (z.B https:/www.gartenfreunde-braunschweig.de/?el_mcal_month=6&el_mcal_year=2016&modjemcal_id=166&modjemcal_month=9&modjemcal_year=2012), gelange ich zur Startseite (mit einem HTTP Statuscode 200, manchmal auch 303)
Wie kann ich in diesem Fall dem Bot sagen, dass er diese Adresse, sowie weitere mit ähnlichem Aufbau, nur andere Monats und Zeitangaben, nicht mehr crawlen soll?
Und vielleicht könnt ihr mir auch einen Tipp geben, wie ich einen bestimmten Teil der Bots aussperren kann. Denn sowas in der robots.txt wie
User-agent: MJ12bot
Disallow: /
klappt wohl nicht.