# robots.txt zu http://www.oepv.3gang.de/ # Infos zu 'robots.txt' hier: http://www.netzwelt.com/selfhtml/diverses/robots.htm#speicherort_aufbau # exclude help system from robots User-agent: * # Durch eine fehlende Angabe hinter Disallow: wird alles erlaubt! # Disallow: Disallow: / # Mit / bestimmen Sie "alle Daten dieses Verzeichnisses und aller Unterverzeichnisse" # Disallow: / # disallow stress test user-agent: stress-agent Disallow: / # Benutzen Sie im Zweifelsfall so viel wie möglich die Angabe Disallow: und so wenig wie möglich die Angabe Allow: # Allow: /