User-agent: BeispielRobot
Disallow: /temp/       # Die Dateien sind sehr kurzlebig
Disallow: /logs/       # Die ändern sich jeden Tag
Disallow: /bilder/     # Bilder nicht downloaden
Disallow: /cgi-bin/    # CGI Ausgaben nicht indexieren
Disallow: /webnews.html   # Die news.html ändert sich täglich
Disallow: /ebay/       # eBay Daten und Bilder
Disallow: /web/ebay/       # eBay Daten und Bilder
Disallow: /web/_private/   # 
Disallow: /web/images/     # 
Disallow: /privat/     #