Der urlsuma-Bot hat Ihre Website besucht

Was ist der urlsuma-Bot?

Der urlsuma-Bot ist der Webcrawler von urlsuma.de, einer allgemeinen Websuchmaschine. Der Bot besucht öffentlich erreichbare Websites, um einen Suchindex aufzubauen und aktuell zu halten — damit Ihre Website über die Suche gefunden werden kann.

Dabei erfasst er ausschließlich Inhalte, die jedem Besucher der Seite ohne Anmeldung zugänglich sind — typischerweise die Startseite einer Domain.

Wie verhält sich der Bot?

• robots.txt wird respektiert. Vor jedem Seitenabruf ruft der Bot Ihre robots.txt frisch ab und wertet sie aus — ohne Zwischenspeicherung. Änderungen an Ihrer robots.txt wirken damit sofort, nicht erst nach Stunden oder Tagen.
• Minimale Last. Pro Besuch werden in der Regel genau zwei Anfragen gestellt: robots.txt und eine einzelne Seite. Es findet kein Deep-Crawling Ihrer gesamten Website statt.
• Seltene Wiederbesuche. Einzelne Domains werden nur in großen zeitlichen Abständen erneut besucht.
• Kein JavaScript. Der Bot ruft nur das ausgelieferte HTML ab und führt keine Skripte aus. Er füllt keine Formulare aus, folgt keinen Login-Bereichen und interagiert nicht mit Ihrer Anwendung.
• Ehrliche Identifikation. Der Bot meldet sich immer mit dem oben gezeigten User-Agent. Er tarnt sich nicht als Browser ohne Kennung und wechselt seine Identität nicht.
• Kurze Timeouts, kaum Wiederholungen. Antwortet Ihr Server langsam oder gar nicht, gibt der Bot nach wenigen Sekunden auf, statt Ihre Ressourcen zu belasten.

Welche Daten werden erhoben?

Vom öffentlich sichtbaren Inhalt der besuchten Seite erfasst der Bot:

• HTML-Inhalt der Seite sowie technische Antwortdaten (HTTP-Status, Antwortzeit, Weiterleitungsziel)
• Metadaten der Seite: Titel, Beschreibung, Keywords, robots-Meta-Tag, Überschrift, Canonical-URL
• Sprach- und Geo-Angaben, sofern in der Seite deklariert (z. B. lang-Attribut, geo.position-Meta-Tags)
• Vorhandensein und Ziel von Impressums- und Datenschutz-Links
• Linkstruktur der Seite (interne und externe Verweise)
• Technische Cookie-Metadaten (Name, Domain, Flags — keine Cookie-Inhalte oder Sitzungsdaten)

Es werden keine Anmeldedaten, Formulardaten oder Inhalte hinter Zugangsbeschränkungen erfasst.

Bot steuern oder blockieren

Der einfachste und schnellste Weg ist Ihre robots.txt. Der Bot hört auf den Token urlsuma und befolgt außerdem generische User-agent: *-Regeln.

robots.txt — Bot vollständig aussperren:

User-agent: urlsuma
Disallow: /

robots.txt — nur bestimmte Bereiche sperren:

User-agent: urlsuma
Disallow: /intern/
Disallow: /shop/warenkorb/

Alternativ können Sie den Bot serverseitig anhand des User-Agent-Strings blockieren (z. B. per HTTP 403). Auch das respektiert der Bot: Seiten, die mit einem 4xx-Status antworten, werden als dauerhaft gesperrt behandelt und nicht erneut angefragt.

Wenn Sie möchten, dass bereits erfasste Daten Ihrer Website aus dem Index entfernt werden, schreiben Sie uns — Kontakt siehe unten. Bitte nennen Sie dabei die betroffene Domain.

Technische Eckdaten

Kontakt

Fragen zum Bot, Probleme mit dem Crawl-Verhalten oder Wunsch nach Entfernung aus dem Index:

bot@urlsuma.de

Bitte fügen Sie nach Möglichkeit die betroffene Domain und — bei technischen Problemen — einen Auszug aus Ihren Server-Logs bei (Zeitstempel, IP, angefragte URLs). Das beschleunigt die Bearbeitung erheblich.

Weitere Informationen zur Verarbeitung personenbezogener Daten finden Sie in unserer Datenschutzerklärung.