robots.txt

# =================================== # Pfad zum Google Sitemap als XML # =================================== Sitemap: https://www.hsr.ch/sitemap.xml # =================================== # Erlaubt alle Suchmaschinen # =================================== User-Agent: * # =================================== # Folgende Seiten sollen nicht indexiert werden: # =================================== Disallow: Disallow: /cgi-bin/ Disallow: /admin/ Disallow: /typo3temp/ Disallow: /typo3/ Disallow: /typo3_src/ Disallow: /typo3conf/ Disallow: /fileadmin/templates/ Disallow: /fileadmin/ext/ Disallow: /fileadmin/hsr_old/ Disallow: /fileadmin/test/ Disallow: /fileadmin/_temp_/ Disallow: /fileadmin/_processed_/ Disallow: /*.sql$ Disallow: /*.sql.gz$ # =================================== # Seiten und Dateien werden Indiziert: # =================================== Allow: / Allow: /typo3temp/*.css$ Allow: /typo3temp/*.gzip$ Allow: /typo3temp/*.js$ Allow: /typo3temp/*.jpg$ Allow: /typo3temp/*.gif$ Allow: /typo3temp/*.png$ Allow: /typo3/*.css$ Allow: /typo3/*.js$ Allow: /typo3/*.jpg$ Allow: /typo3/*.gif$ Allow: /typo3/*.png$ Allow: /typo3/*.gzip$ Allow: /fileadmin/user_upload/ # =================================== # Schließe folgende Spider komplett aus: # =================================== User-agent: WebReaper User-agent: WebCopier User-agent: Offline Explorer User-agent: HTTrack User-agent: Microsoft.URL.Control User-agent: EmailCollector User-agent: penthesilea Disallow: /