Crawling ist der Prozess, bei dem Suchmaschinen wie Google automatisierte Programme, sogenannte Crawler oder Bots, einsetzen, um neue und aktualisierte Webseiten zu entdecken und deren Inhalte abzurufen. Der bekannteste Crawler ist der Googlebot. Crawling ist die Grundvoraussetzung für die Indexierung: Nur gecrawlte Seiten können später in den Suchergebnissen erscheinen.
Was ist Crawling?
Beim Crawling durchsucht eine Suchmaschine das Web systematisch nach Inhalten. Bots wie der Googlebot starten bei bekannten URLs, etwa aus früheren Crawls, eingereichten Sitemaps oder der Google Search Console, und folgen von dort jedem Link, den sie auf einer Seite finden. Neue Links landen in einer Warteschlange und werden zu einem späteren Zeitpunkt besucht. So entsteht nach und nach eine Landkarte des gesamten Webs.
Crawling ist eine notwendige, aber keine hinreichende Bedingung für gute Rankings. Eine Seite kann gecrawlt werden, ohne in den Suchergebnissen zu erscheinen, etwa wenn sie ein noindex-Tag enthält oder als minderwertig eingestuft wird. Ohne Crawling ist eine Platzierung dagegen ausgeschlossen: Was Google nicht kennt, kann es auch nicht anzeigen.
Wie funktioniert Crawling? (Der Googlebot-Prozess)
Der Vorgang läuft in mehreren Schritten ab: Zunächst entdeckt Googlebot eine URL über einen Link, eine Sitemap oder eine manuelle Einreichung in der Search Console. Anschließend sendet er eine HTTP-Anfrage an den Server und lädt das HTML-Dokument herunter. Enthält die Seite JavaScript, wird sie zusätzlich in eine separate Rendering-Warteschlange (Web Rendering Service, WRS) eingereiht, wo der Code ausgeführt und die Seite wie in einem Browser dargestellt wird. Erst danach gehen die Inhalte an die Indexierungssysteme.
Seit 2026 ist offiziell bekannt, wie viele Daten Googlebot dabei pro URL abruft: bis zu 2 MB für HTML-Dateien (inklusive HTTP-Header), bis zu 64 MB für PDFs und 15 MB für alle übrigen Dateitypen ohne eigenes Limit. Überschreitet eine Seite das Limit, bricht Googlebot den Abruf exakt an der Grenze ab. Alles danach existiert für Google schlicht nicht.
Seit 2023 crawlt und bewertet Google Webseiten primär über die mobile Version (Mobile-First-Indexierung). Inhalte, die ausschließlich auf der Desktop-Version vorhanden sind, werden dadurch leicht übersehen.
Crawler-Typen im Überblick
| Crawler | Zweck |
|---|---|
| Googlebot Smartphone | Primärer Crawler, simuliert einen mobilen Nutzer (Mobile-First) |
| Googlebot Desktop | Ergänzender Crawler aus Desktop-Perspektive |
| Googlebot Image / Video | Bilder- und Videosuche |
| Googlebot News | Google News |
| AdsBot | Prüft Landingpages für Google Ads |
| GPTBot, ClaudeBot, PerplexityBot, Google-Extended | KI-Crawler für Trainingsdaten bzw. KI-gestützte Antworten (GEO-relevant) |
Klassische Suchmaschinen-Crawler und KI-Crawler lassen sich in der robots.txt getrennt steuern. Das ist ein wichtiger Punkt für alle, die SEO und GEO parallel betreiben.
Crawl-Budget – wann wird es wichtig?
Das Crawl-Budget beschreibt, wie viele Seiten Googlebot innerhalb eines Zeitraums auf einer Website crawlt. Es ergibt sich aus zwei Faktoren: der Crawl-Rate (wie viele Anfragen der Server verarbeiten kann, ohne langsamer zu werden) und der Crawl-Demand (wie wichtig oder aktuell Google eine Seite einschätzt). Für die meisten kleinen und mittleren Websites mit wenigen tausend Seiten, etwa Handwerksbetriebe oder lokale Dienstleister, spielt das Crawl-Budget in der Praxis kaum eine Rolle. Relevant wird es erst bei sehr großen Websites mit zehntausenden URLs, etwa Online-Shops mit Filterseiten oder automatisch generierten Parameter-URLs.
Crawling steuern: robots.txt, noindex und Sitemap
Drei Werkzeuge steuern, was Google crawlt und indexiert. Sie werden in der Praxis häufig verwechselt:
| Werkzeug | Steuert | Wirkung |
|---|---|---|
| robots.txt | Crawling | Verhindert das Abrufen einer URL durch den Bot. Verhindert nicht zuverlässig die Indexierung, wenn die URL anderweitig verlinkt ist. |
| noindex (Meta-Tag / X-Robots-Tag) | Indexierung | Seite wird weiterhin gecrawlt, aber nicht in den Index aufgenommen. |
| XML-Sitemap | Auffindbarkeit | Listet wichtige URLs und beschleunigt deren Entdeckung, garantiert aber kein Crawling. |
Ein häufiger Fehler: robots.txt-Disallow und noindex gleichzeitig auf dieselbe Seite anzuwenden. Blockiert robots.txt den Zugriff, kann Googlebot das noindex-Tag gar nicht erst lesen. Die Seite bleibt indexierbar, falls externe Links auf sie zeigen. Soll eine Seite zuverlässig aus dem Index verschwinden, muss das Crawling erlaubt bleiben und ausschließlich noindex zum Einsatz kommen.
Crawling vs. Indexierung
| Merkmal | Crawling | Indexierung |
|---|---|---|
| Definition | Entdecken und Abrufen einer Seite | Aufnahme der Seite in die Google-Datenbank |
| Voraussetzung für | Indexierung | Erscheinen in den Suchergebnissen |
| Steuerung über | robots.txt, Sitemap | noindex-Tag, Canonical-Tag |
| Beispiel für Ausschluss | Disallow in robots.txt | noindex-Meta-Tag |
Crawling der eigenen Website verbessern – in 4 Schritten
Mit gezielten technischen Maßnahmen sorgen Website-Betreiber dafür, dass Googlebot wichtige Seiten zuverlässig findet und crawlt.
- XML-Sitemap einreichen:
Eine aktuelle Sitemap erstellen und in der Google Search Console hinterlegen, damit Google alle wichtigen URLs kennt.
- robots.txt prüfen:
Sicherstellen, dass keine wichtigen Bereiche versehentlich blockiert sind, und Konflikte mit noindex vermeiden.
- Interne Verlinkung stärken:
Wichtige Seiten innerhalb von drei Klicks von der Startseite erreichbar machen, damit Googlebot sie zuverlässig findet.
- Serverantwortzeiten überwachen:
Schnelle Ladezeiten und niedrige Fehlerraten (insbesondere 5xx-Statuscodes) sorgen dafür, dass Googlebot die Crawling-Frequenz nicht reduziert.
Crawling 2026 – Aktuelle Entwicklungen
Im März 2026 hat Google in einem Blogbeitrag offengelegt, dass „Googlebot“ längst kein einzelner Crawler mehr ist, sondern eine zentrale Crawling-Infrastruktur, die von vielen Google-Produkten, etwa Google Shopping oder AdSense, unter eigenen Bot-Namen genutzt wird. Jeder dieser Clients hat eigene Limits für Byte-Abrufe, User-Agent-Strings und robots.txt-Tokens.
Für SEO bedeutet das konkret: Wer kritische Inhalte, wie z.B. Title, Meta-Description, Canonical-Tag, strukturierte Daten, möglichst weit oben im HTML-Dokument platziert, sorgt dafür, dass sie auch bei sehr großen Seiten sicher innerhalb des 2-MB-Limits abgerufen werden.
Parallel dazu wächst die Zahl spezialisierter KI-Crawler, die Inhalte für Trainingsdaten oder KI-gestützte Antworten sammeln. Beispiele sind: GPTBot (OpenAI), ClaudeBot (Anthropic), PerplexityBot oder Google-Extended für AI Overviews und Gemini. Sie lassen sich unabhängig von Googlebot über eigene robots.txt-Regeln steuern, was für eine durchdachte GEO-Strategie zunehmend relevant wird.
Häufige Fragen zu Crawling
Das hängt von Linkstruktur, Sitemap-Einreichung und Domain-Autorität ab. Bei etablierten, gut verlinkten Websites kann es wenige Stunden bis Tage dauern. Neue oder kaum verlinkte Seiten werden teilweise erst nach mehreren Wochen erstmals gecrawlt.
Crawling ist das Entdecken und Abrufen einer Seite durch einen Bot. Indexierung ist der nachfolgende Schritt, bei dem Google die abgerufenen Inhalte analysiert und in seine durchsuchbare Datenbank aufnimmt. Eine Seite kann gecrawlt, aber dennoch nicht indexiert werden, etwa wegen eines noindex-Tags.
Die Google Search Console zeigt unter „Seiten“ und im Crawling-Bericht, wann eine URL zuletzt gecrawlt wurde und ob dabei Fehler aufgetreten sind. Alternativ liefert eine Analyse der Server-Logfiles die genaue Zugriffshistorie von Googlebot.
Crawl-Budget ist die Anzahl an Seiten, die Googlebot in einem bestimmten Zeitraum auf einer Website crawlt. Es wird erst relevant bei sehr großen Websites mit zehntausenden URLs oder technischen Problemen wie Endlos-Parametern. Kleinere Websites mit wenigen tausend Seiten müssen sich darum normalerweise nicht sorgen.
Ja, über die robots.txt lässt sich für jeden User-Agent einzeln festlegen, welche Bereiche er crawlen darf. So kann beispielsweise ein KI-Trainings-Crawler wie GPTBot blockiert werden, während Googlebot weiterhin uneingeschränkten Zugriff erhält.
Häufige Ursachen sind eine fehlende oder fehlerhafte Sitemap, eine versehentliche Blockierung in der robots.txt, fehlende interne Verlinkung oder ein technischer Fehler wie ein 5xx-Statuscode. Auch eine sehr neue Domain ohne externe Links wird oft erst verzögert entdeckt.
Quellen
- Inside Googlebot: demystifying crawling, fetching, and the bytes we process – Google Search Central Blog, 2026
- Googlebot – Google Search Central Dokumentation, 2026
- Google Explains Googlebot Crawling, Fetching & Byte Limits – Search Engine Roundtable, 2026
