User-agent: *
Disallow: /news/
Disallow: /oli/ 

#diese Verzeichnisse sind für Suchmaschinen ausgeschlossen

# Ganze Site für wget Robots sperren
User-agent:wget
Disallow: /