Suchmaschinen-Optimierung & Crawling

Das "Ranking" Ihrer Webseiten bei Suchmaschinen wie Google kann durch redaktionelle Eingriffe und andere Massnahmen verbessert werden. Das nennt man Suchmaschinen-Optimierung resp. «SEO» (search engine optimization). Die Abteilung Kommunikation beschreibt diese Massnahmen im Detail.

Optimierung für Suchmaschinen (Abt. Kommunikation)

Es gibt die Möglichkeit, einzelne Verzeichnisse oder Seiten  so zu signalisieren, dass diese nicht von den Suchmaschinen durchsucht (crawl) werden. Zumindest "freundliche" Suchmaschinen orientieren sich daran.

Hierzu kann eine Text-Datei mit der Bezeichnung «robots.txt»* auf oberster Ebene im Verzeichnis «public_html» (auf dem FTP-Server) abgelegt werden. Im file «robots.txt» können die gewünschten Ordner oder Seiten nach dem folgenden Muster ausgeschlossen werden:

User-agent: *
Disallow: /team/staffmember/liechti.html
Disallow: /team/staffmember/meier.html
Disallow: /team/intern/
... etc.

Dieses Vorgehen verhindert aber nicht die Indexierung der jeweiligen Seite.