Bots

„Bots“ ist die Abkürzung von "Robots". Die Begriffe „Spider“, „Robot“, „Bot“, „Crawler“ werden synonym verwendet.
Ein Bot ist ein Programm, das vorwiegend selbständig regelhafte, sich wiederholende Aufgaben bearbeitet. Diese Programme sind relativ einfach gebaut, dennoch effektiv und funktionieren ohne Interaktion mit einem menschlichen Benutzer. Manche quasi-selbständige Programme im Bereich der künstlichen Intelligenz werden ebenfalls mit diesem Begriff bezeichnet.

Zu den Bots gehören beispielsweise Webcrawler von Suchmaschinen, die Webseiten autonom besuchen. Die Adressen der Webseiten werden vorher entweder bei den Suchmaschinen angemeldet oder der Bot folgt eigenständig Links und besucht dabei neue Seiten. Dabei folgen Bots den Links, lesen Inhalte ein und erfassen diese für die spätere Indexierung. Erwünschte Bots orientieren sich an den Robot Exclusion Standards (robots.txt), die ihre Kontrolle durch den Serverbetreiber ermöglichen. Unerwünschte Bots sammeln E-Mail-Adressen, kopieren in großen Mengen unerlaubt Webinhalte u. ä.. Es gibt allerdings Möglichkeiten, sich gegen unerwünschte Bots zu wehren.