Home » Crawler

Crawler

Was ist ein Crawler?

Crawler sind Computerprogramme, die für die Suche im Internet programmiert sind. Normalerweise programmieren die Entwickler einen Crawler so, dass er immer wieder die gleichen Aktionen durchführt. Auf diese Weise wird die Suche automatisiert, weshalb “Robots” ebenfalls häufig Name für Crawler verwendet wird.

Google und andere Suchmaschinen verwenden Crawler, um Websites zu indizieren. Damit eine Website in den Suchergebnissen von Google erscheint, muss der Google-Crawler die Website zuerst besuchen und sie auflisten.

Wie funktioniert ein Crawler?

Ein Crawler arbeitet eine Reihe von vordefinierten Schritten nacheinander ab. Deshalb ist es wichtig, diese Schritte vor dem Crawlen zu definieren. Normalerweise besucht ein Crawler die verschiedenen URLs einer Website nacheinander und speichert die Ergebnisse dann in einem Index. Wie dieser Index aussieht, hängt vom jeweiligen Algorithmus ab. Der Google-Algorithmus beispielsweise legt die Reihenfolge fest, in der die Ergebnisse für eine bestimmte Suchanfrage erscheinen.

Kontaktieren Sie uns noch heute! Wir freuen uns auf den persönlichen Kontakt mit Ihnen und unterbreiten Ihnen gerne ein individuelles Angebot für Ihre Webseite. Für Fragen zur Suchmaschinenoptimierung steht Ihnen unser Team gerne zur Verfügung.

Das könnte Sie interessieren:
Hier geht es weiter zur Suchmaschinenoptimierung.

Weitere Glossar Themen: