Webdesignerin

Webdesignerin

Dipl. Wi. Infrom. Susanne Wollatz

Sitemap

Eine Sitemap ist eine strukturierte Datei, in der alle wichtigen Seiten einer Website aufgelistet sind. Sie hilft Suchmaschinen dabei, Inhalte leichter zu finden und korrekt zu indexieren. Zusätzlich gibt es weitere Steuerdateien wie robots.txt, sitemap.txt und llms.txt, die Suchmaschinen, Crawlern und KI-Systemen Hinweise geben, wie sie mit der Website umgehen sollen.

Eine Sitemap gehört zu den zentralen technischen Bausteinen für Suchmaschinenoptimierung und sauberes Webseiten-Management. Sie zeigt Suchmaschinen, welche Inhalte existieren, wie sie strukturiert sind und wie aktuell sie sind. Ohne eine Sitemap können wichtige Unterseiten übersehen werden, besonders wenn die interne Verlinkung schwach ist oder dynamisch erzeugte Inhalte vorhanden sind

In einer Sitemap stehen die wichtigsten URLs der Website. Sie kann Informationen enthalten wie Aktualisierungsdatum oder Relevanz einer Seite. Sie liegt meist im Format XML vor und wird in der Google Search Console eingereicht, damit Google sie aktiv nutzt.

Suchmaschinen werden beim schnellen Erfassen neuer Inhalte unterstützt und die Indexierung verbessert, was sich wiederum positiv auf das Ranking auswirken kann. Auch bei Relaunches oder strukturellen Änderungen sichert sie die Sichtbarkeit.

Neben der klassischen Sitemap gibt es weitere Dateien, die die Arbeitsweise von Suchmaschinen, Bots und KI-Systemen beeinflussen.

robots.txt

  • Legt fest, welche Bereiche einer Website gecrawlt werden dürfen und welche nicht
  • Muss im Root-Verzeichnis liegen
  • Enthält Anweisungen wie Allow und Disallow für bestimmte Bots
  • Wird als Orientierung genutzt, ist aber keine absolute Sperre

sitemap.txt

  • Einfachere Variante einer Sitemap
  • Enthält nur eine reine Liste von URLs, jeweils eine pro Zeile
  • Wird selten verwendet, aber von einigen Crawlern unterstützt

llms.txt

  • Eine neue Datei, die beschreibt, wie KI-Systeme wie Large Language Models (z. B. Such-KI oder Analyse-KI) Inhalte der Website nutzen dürfen
  • Vergleichbar mit robots.txt, aber speziell für KI-Crawler entwickelt
  • Kann Regeln enthalten wie Zugriff erlauben, begrenzen oder verbieten
  • Wird zunehmend relevant, da immer mehr KI-Anbieter eigene Crawler einsetzen

Zusammenspiel der Dateien:
Die oben genannten Dateien ergänzen sich gegenseitig:

  • Die Sitemap hilft bei der Indexierung.
  • Die robots.txt steuert, was überhaupt gecrawlt werden darf.
  • Die sitemap.txt ist eine minimalistische Variante, falls XML nicht genutzt wird.
  • Die llms.txt bringt eine neue Ebene hinzu, die KI-Crawler regelt.