Ratgeber · Indexierung
Indexierung und Crawling verstehen: So kommt deine Seite in den Google-Index
Drei Stufen, drei Werkzeuge, ein Prüfpunkt
Google verarbeitet deine Seite in drei Stufen: Crawling, Rendering, Indexierung. Ob eine URL im Index ist, prüfst du in unter einer Minute mit der URL-Prüfung der Google Search Console. Die drei häufigsten Blocker sind noindex, fehlerhafte Canonicals und robots.txt-Sperren – drei Werkzeuge, die ständig verwechselt werden.
Crawling, Rendering, Indexierung: die drei Stufen
Crawling: Der Googlebot ruft die URL ab. Er findet sie über Links, deine XML-Sitemap oder eine erneute Prüfung bereits bekannter URLs.
Rendering: Google führt das JavaScript der Seite aus – mit einem Chromium-basierten Rendering-Dienst. Erst danach sieht Google die Seite so, wie dein Besucher sie sieht.
Indexierung: Google bewertet den gerenderten Inhalt, wählt die kanonische Version und nimmt die Seite in den Index auf. Oder eben nicht.
Der Punkt, an dem die meisten Missverständnisse entstehen: Gecrawlt heißt nicht indexiert. Google crawlt deutlich mehr URLs, als es indexiert. Und selbst Indexierung garantiert keine Besucher – eine Analyse von rund 14 Milliarden Seiten zeigt, dass 96,55 Prozent aller untersuchten Seiten null Traffic aus der Google-Suche bekommen (Ahrefs, 2023). Ohne Index kein Ranking, egal wie gut der Text ist.
In der Search Console prüfen, ob eine URL im Index ist
Vergiss die site:-Abfrage – sie ist ein grober Schätzwert, kein Report. Die verlässliche Quelle ist die Google Search Console, und die kostet 0 Euro.
Einzelne URL: Gib die Adresse in die URL-Prüfung ein. Du siehst in Sekunden: Ist die URL bei Google? Wann zuletzt gecrawlt? Welche kanonische URL hat Google gewählt?
Ganze Website: Der Bericht „Indexierung → Seiten“ listet alle nicht indexierten URLs mit Begründung. Zwei Status kommen dabei ständig vor: „Gecrawlt – zurzeit nicht indexiert“ (Qualitäts- oder Duplikatsproblem) und „Gefunden – zurzeit nicht indexiert“ (noch nicht gecrawlt, oft eine Frage der Crawl-Priorisierung).
robots.txt, noindex, Canonical: drei Werkzeuge, drei Aufgaben
robots.txt steuert das Crawling
Eine Disallow-Regel in der robots.txt verbietet den Abruf. Sie verhindert aber keine Indexierung: Ist die URL verlinkt, kann sie trotzdem im Index landen – als leerer Eintrag ohne Inhalt.
noindex steuert die Indexierung
Das Meta-Robots-Tag noindex sagt: „Nimm diese Seite nicht in den Index.“ Damit Google das lesen kann, muss die Seite crawlbar sein. Daraus folgt Fehler Nummer 1 in fast jedem Audit: Seite per robots.txt sperren und gleichzeitig auf noindex setzen. Google sieht das noindex nie. Willst du eine Seite raus haben: noindex setzen, Crawling erlauben.
Canonical ist ein Hinweis, keine Anweisung
Das Canonical-Tag empfiehlt Google bei Duplikaten eine bevorzugte Version. Google folgt meistens – aber nicht immer. Als Sperrwerkzeug taugt es nicht.
Crawl-Budget: erst ab fünfstelligen URL-Zahlen ein Thema
Das am meisten überschätzte Thema im technischen SEO. Websites unter etwa 10.000 URLs müssen sich praktisch keine Gedanken machen. Relevant wird es ab rund 1 Million URLs – oder ab etwa 10.000 URLs mit täglich wechselnden Inhalten, etwa bei großen Shops mit Facettennavigation.
Wenn deine Website 300 Seiten hat und eine davon nicht indexiert ist, liegt das nicht am Crawl-Budget. Sie ist blockiert, zu dünn oder ein Duplikat.
JavaScript-Rendering: wenn Inhalte erst im Browser entstehen
Liefert dein CMS Inhalte per Client-Side-JavaScript aus, sieht Google beim ersten Abruf unter Umständen eine fast leere Seite. So prüfst du das in 2 Minuten: URL-Prüfung in der Search Console öffnen, Live-Test starten, gerendertes HTML ansehen. Fehlen dort Texte oder Produkte, hast du ein Rendering-Problem.
Die robusteste Lösung: Server-Side-Rendering – bei WordPress, Shopify und Shopware der Normalfall, bei Headless-Setups die häufigste Baustelle.
Mehr Systematik – Statuscodes, Weiterleitungen, Sitemaps – im Leitfaden Technisches SEO.
Indexierungssignale im Überblick
| Signal | Steuert | Wirkung |
|---|---|---|
| noindex | Indexierung | Seite bleibt aus dem Index – setzt voraus, dass sie crawlbar ist |
| Canonical | Duplikate | Empfehlung an Google, keine Sperre |
| robots.txt (Disallow) | Crawling | Verhindert den Abruf, aber nicht zwingend die Indexierung |
| XML-Sitemap | Auffindung | Sollte nur indexwürdige URLs mit Statuscode 200 enthalten |
Die vier Signale lösen unterschiedliche Aufgaben. Wer sie mischt – etwa robots.txt als Deindexierungswerkzeug einsetzt –, produziert genau die Fehler aus dem nächsten Abschnitt.
Ein Shopware-Shop mit Crawling-Problem
„Bei einem Shopware-Shop mit rund 60.000 URLs gingen etwa zwei Drittel aller Crawls in Filter-URLs ohne jede Suchnachfrage. Wir haben die Parameter-Muster per robots.txt gesperrt, die Sitemap bereinigt und die interne Verlinkung auf Kategorien konzentriert. Nach acht Wochen tauchten neue Produkte statt nach rund zwei Wochen nach zwei bis drei Tagen im Index auf.“
— Viktor Pásztor, SEO-Freelancer
Das Beispiel zeigt, warum Crawl-Budget erst bei großen, dynamischen Websites zum Thema wird: Nicht die Zahl der Seiten allein entscheidet, sondern wie viel davon Google mit irrelevanten URLs verschwendet.
Häufige Fehler bei Indexierung und Crawling
robots.txt-Sperre plus noindex kombiniert
Google sieht das noindex nie, wenn die Seite gleichzeitig per robots.txt gesperrt ist. Die Seite bleibt als leerer Eintrag im Index.
Canonical als Deindexierung missverstanden
Es ist eine Empfehlung für Duplikate, kein Rauswurf. Google folgt dem Canonical meistens – aber ohne Garantie.
noindex vom Staging mit live genommen
Nach jedem Relaunch prüfen: Ein vergessenes noindex aus der Staging-Umgebung nimmt die komplette Live-Website aus dem Index.
Sitemap voller Müll, Crawl-Budget-Panik bei kleinen Sites
In die Sitemap gehören nur indexwürdige URLs mit Statuscode 200. Und unter 10.000 URLs löst du Indexprobleme über Qualität und interne Verlinkung, nicht über Crawl-Budget.
Häufige Fragen zur Indexierung
Wie lange dauert es, bis Google eine neue Seite indexiert?
Zwischen wenigen Stunden und mehreren Wochen. Bei etablierten Websites mit sauberer Sitemap und interner Verlinkung sind 1 bis 7 Tage realistisch.
Warum ist meine Seite gecrawlt, aber nicht indexiert?
Google hält die Seite aktuell nicht für indexwürdig – typisch bei Duplikaten, sehr dünnen Inhalten oder schwacher interner Verlinkung. Es gibt keinen Anspruch auf Indexierung.
Wie entferne ich eine Seite schnell aus dem Google-Index?
Für den Sofort-Effekt das Entfernungen-Tool in der Search Console nutzen – es blendet die URL für rund 6 Monate aus. Dauerhaft wirkt nur noindex bei einer crawlbaren Seite oder der Statuscode 410.
Hilft die Indexing API bei normalen Seiten?
Nein. Google unterstützt die Indexing API offiziell nur für zwei Inhaltstypen: Stellenanzeigen und Livestream-Videos.
Viktor Pásztor
Viktor Pásztor ist SEO-Freelancer in Berlin, seit über 15 Jahren im digitalen Marketing und betreut rund 15 Kundenprojekte parallel, vorwiegend E-Commerce und B2B. Er arbeitet seit über fünf Jahren zu 100 % remote – mit WordPress, Shopify, Shopware und TYPO3. Mehr über Viktor Pásztor
Weiterlesen
Technisches SEO
Was ein Crawl findet und was danach passiert.
Onpage-Optimierung
Wie Inhalte für Ranking und Indexierung aufbereitet werden.
SEO-Kosten
Was die Zusammenarbeit mit mir kostet.
Indexierungsprobleme auf deiner Website?
Ein SEO-Audit prüft Crawling, Rendering und Indexierung Punkt für Punkt – inklusive Blick in deine Search Console. Antwort an Werktagen innerhalb von 24 Stunden.
→ Jetzt SEO-Audit anfragen