Internet-Kennzahlen: Teil 5 – Anzahl indexierte Seiten

Mittlerweile dürfte auch der Letzte davon überzeugt sein, dass es wirtschaftlich weniger Sinn macht, einen Online Shop, eine Internetpräsenz oder Website zu erstellen und zu betreiben, wenn sie nicht von möglichst vielen Besuchern im Netz gefunden wird, die die Angebote konsumieren.

Wie und warum Suchmaschinen Seiten indexieren

Da die User ihre Reise im Netz in der Regel über Suchmaschinen starten, ist es für jeden Webseitenbetreiber von Bedeutung zu wissen, ob und wie viele seiner Seiten überhaupt bei den Suchmaschinen – in erster Linie Google – zu finden sind. Dazu muss die Seite von den Suchmaschinen indexiert sein, d.h. unter den gewählten Suchbegriffen in den Datenbanken von Google & Co. abgelegt sein.

Um dies zu verstehen sollte man die Arbeitsweise einer Suchmaschine wie Google kurz einmal näher betrachten. Google – wie auch die anderen Suchmaschinen – bedient sich sogenannter Crawler, die ständig im stetig wachsenden Informationsuniversum Internet unterwegs sind, die vorgefundenen Seiten „scannen“ und die deren Inhalte in der riesigen Datenbank der Suchmaschine unter den ermittelten Keywords ablegen. Eine Website ist dabei am ehesten mit einem Buch vergleichbar, das mehrere Kapitel und zahlreiche Unterkapitel hat, in denen auf einzelnen Seiten jeweils Informationen zu bestimmten Themen zu finden sind. Auskunft darüber, ob und wie viele Seiten eines solchen Buches im Google-Index zu finden sind, geben uns die Suchmaschinen selbst durch eine einfache Suchanfrage nach dem Schema: `site:www.domain.de´. Damit lässt sich ein schneller Überblick über die eigentliche Größe einer Domain verschaffen. Darüber hinaus liefert diese Abfrage Informationen über das Themenspektrum der Domain, ohne sich durch die komplette Navigation klicken zu müssen.

Indexierungsstatus per Webmaster-Tools abrufen

Neben dieser Suchanfrage für indexierte Seiten, die allerdings nur einen groben Überblick liefert und auch nur bis zu 1.000 Seiten berücksichtigt sowie einigen kostenpflichtigen Tools von Sistrix oder XOVI, liefert Google seit Mitte 2012 in seinen Webmaster-Tools diesen Wert kostenlos. Über die Menüpunkte Status und Indexierungsstatus finden wir Informationen, wie viele URLs der eigenen Domain im Google Index berücksichtigt sind. In einem Diagramm zum Indexierungsstatus sehen Sie die Zahl der im zeitlichen Verlauf der letzten 12 Monate indexierten Seiten Ihrer Website. Eine stetig steigende Anzahl zeigt dabei, dass Google neue Inhalte einer Webpräsenz gecrawlt, erkannt und indexiert hat, während Einbrüche bei der Zahl der indexierten Seiten auf Serverausfälle, eine zu komplexe interne Verlinkung oder Fehler in der Erreichbarkeit einzelner oder aller Seiten hindeuten. Die Anzahl der indexierten Seiten sollte generell in einem gesunden Verhältnis zur tatsächlichen Anzahl der Seiten stehen.

Erweiterte Ansicht zum Indexierungsstatus gibt nähere Auskunft

Neben der einfachen Ansicht liefert ein Klick auf „erweitert“ zusätzliche Informationen wie die Gesamtzahl der gecrawlten URLs und die nicht ausgewählten URLs. Dieser Wert ist beispielsweise besonders interessant, denn nicht alle Seiten, die der Google-Bot findet, dürfen oder können auch in den Index aufgenommen werden. Einerseits lassen sich von Seiten des Webmasters URLs durch das Attribut „noindex“ in der robots.txt ausschließen und andererseits kann es sein, dass URLs nicht erreichbar sind. Vor allem aber werden bei Seiten mit Duplicate Content statt aller Seiten nur Stellvertreterseiten indexiert. Schließlich gibt die Grafik Auskunft über die Zahl der URLs, die aus den verschiedensten Gründen entfernt wurden.

Regelmäßige Beobachtung des Indexierungsstatus als Problemindikator

Die Beobachtung des Indexierungsstatus einer Website sollte zu den regelmäßigen SEO-Monitoring-Routinen gehören, denn ein starker Anstieg der indexierten Seiten ist ein guter Indikator für eventuelle Probleme in der Struktur einer Website, deren Verlinkung sowie der Erreichbarkeit sein. So kommt es beispielsweise immer wieder vor, dass eine Seite unter http:// und https:// aber auch unter www.domain.de und domain.de erreichbar ist.

Das Indexierungsstatus-Diagramm zeigt zwar, wie viele URLs einer Domain von Google indexiert wurden, jedoch ist nicht ersichtlich, welche URLs dies sind. Das Interesse an diesen Informationen ist sicher recht groß. Es bleibt also abzuwarten, ob Google auch diese Information preisgeben wird.

Lohnt es sich, die Anzahl der indexierten Seiten um jeden Preis zu erhöhen?

Ob es sich lohnt, so viele Seiten wie möglich in den Google-Index zu schieben, wird immer wieder diskutiert. Auch hier wird zunehmend über Effizienz nachgedacht. Dabei besteht vielfach die Auffassung, dass es besser sein dürfte, wenige gute als viele schlechte Seiten im Google-Index zu haben. Eine große Anzahl von Einzelseiten mit nichtssagendem Inhalt ist heute kein Kriterium mehr, um von Google als relevant für ein Thema erkannt zu werden. Einerseits bedeuten mehr Seiten auch mehr Aufwand und eine erhöhte Gefahr, Duplicate Content zu produzieren. Andererseits sind viele Seiten auch eine Möglichkeit, weiteren Traffic zu generieren, der wiederum ein Kriterium bei der positiven Beurteilung einer Onlinepräsenz durch Google und Co. ist. Die Frage ist also berechtigt, und für Webmaster ist es meist ein schmaler Grat, zu entscheiden, wann sich der Aufwand lohnt und wo die Grenzen liegen.

Bisher erschienene Artikel über Internet-Kennzahlen

Teil 1: Die Linkpopularität
Teil 2: Die Domainpopularität
Teil 3: Eindeutige Besucher
Teil 4: Page Views
Teil 5: Anzahl indexierte Seiten
Teil 6: Alexa Ranking
Teil 7: Google PageRank
Teil 8 : Verweildauer
Teil 9: Absprungrate
Teil 10: Sichtbarkeit
Teil 11: OVI
Teil 12: Domain Authority und Page Authority
Teil 13: MozRank
Teil 14: Twitter-Follower
Teil 15: Blekko-Ranking
Teil 16: Google PageRank Update Dezember 2013
Teil 17: TrustRank