Dieser Artikel ist Teil von unserer Serie „Internet in einfacher Sprache“.
Der Begriff Crawler kommt aus dem Englischen. Ein Crawler ist ein Computer-Programm, das automatisch abläuft. Das heißt, ein Crawler durchsucht von selbst Internet-Seiten und bewertet diese.
Suchmaschinen, wie zum Beispiel Google, verwenden Crawler. Damit durchsuchen sie das Internet nach Informationen und ordnen diesen Kategorien zu. Der Fachbegriff dafür ist Indexierung.
Die gesammelten Informationen nutzen Suchmaschinen, um bei Such-Anfragen die passendsten Internet-Seiten vorstellen zu können. Andere Begriffe für Crawler sind Robot, Bot oder Spider.
Grenzen von Crawlern
Crawlern fällt es schwer Bilder zu bewerten. Um einem Crawler Informationen über den Inhalt von einem Bild zu geben, gibt es den alternativen Text. Der Crawler liest den alternativen Text und weiß dadurch, um was es bei dem Bild geht. Alternative Texte können auch Sie sehen, wenn ein das Bild auf einer Internet-Seite nicht lädt.
Viele Internet-Seiten-Besitzer möchten nicht, dass sie der Crawler ihre Webseite durchsucht. Mit einer Datei robots.txt können sie festlegen, welche Bereiche vom Crawler durchsucht werden dürfen und welche nicht.
Erfahren Sie mehr über Crawler in unseren Quellen
Ähnliche Begriffe
Dieser Artikel ist Teil von unserer Serie „Internet in einfacher Sprache“.