Das funktioniert nicht überall. Diese Agent-Kennungen sind "beliebt" bei Hackern und werden daher von uns und auch anderen Provider geblockt, wenn es sich NICHT um den echten Crawler handelt. Google empfieht das sogar selbst und gibt sogar an, wie man das machen kann.
Um zu sehen das Google "sieht" gibt es andere Hilfsmittel von Google