Website-Monitoring für SEO

Fehler passieren. Die ganze Zeit. Ein defektes Canonical live zu haben kann im Sichtbarkeitsindex der Sistrix Toolbox so aussehen:

Teile Deiner Test-Umgebung landen im Live-System (noindex, robots.txt) und verhindern Crawling und Indexierung. Deine Weiterleitung von http auf https verschwindet plötzlich. Oder die Hauptüberschriften Deiner wichtigsten Landingpages werden ohne Rücksprache mit Dir verändert. Das alles sind SEO-Horror-Szenarien, von denen wir hoffen, dass sie Dir bisher erspart geblieben sind, die wir aber in Projekten alle schon erlebt haben.

Wie kann man sich gegen solche Zwischenfälle effektiv, langfristig und ohne Entwickler-Aufwand absichern um im Fall der Fälle möglichst keinen Schaden zu nehmen? Die Antwort lautet: Website-Monitoring!

Einführung: Was ist Website-Monitoring?

Nicht nur aus SEO-Sicht ist es sinnvoll, verschiedene Elemente auf der Website im Blick zu haben. Den Quellcode regelmäßig manuell zu prüfen um sicherzustellen, dass alle erforderlichen Bestandteile vorhanden und korrekt implementiert sind, ist allerdings weder praktikabel noch zuverlässig oder skalierbar.

In vielen Unternehmen gibt es Tests der Website-Elemente, die vor dem Live-Gang durchgeführt werden und so viele Fehler verhindern. Dennoch ist auch hier nicht immer sichergestellt, dass auf dem Live-System alles dem Soll-Zustand entspricht. Und: Für SEOs ist der Zugang zu diesen Tests nicht immer möglich.

Natürlich sollte die Website regelmäßigen Crawls unterzogen werden, aber das ist in stündlichen oder minütlichen Intervallen weder durchführbar noch wirtschaftlich. Zudem ist die Hauptaufgabe eines Crawlings die Beantwortung struktureller Fragen. Nicht das Aufdecken einzelner technischer Verschlechterungen. Website-Monitoring ist dabei ein Baustein in der Überwachung der Website-Performance mit verschiedenen Monitoring Tools.

Ein automatisiertes Monitoring bietet Dir die Möglichkeit, auch einzelne Elemente Deiner Seite kontinuierlich zu überwachen. Verschiedene Tools haben sich bereits am Markt etabliert. Mit ihnen kannst Du die Elemente mit unterschiedlichen Prioritäten und Frequenzen überwachen. Bei Abweichungen vom Soll-Zustand benachrichtigen sie Dich.

Warum wird Dich ein Monitoring zu einem besseren SEO machen? So lange das System nicht anschlägt kannst Du sicher sein, dass alles in Ordnung ist und Dich auf die Verbesserung der Seite konzentrieren. Etwa, wie man die Website durch technische, inhaltliche oder strukturelle Verbesserungen weiter nach vorne bringt.

Wenn dann doch mal etwas kaputt geht, erhältst Du sofort eine Benachrichtigung und kannst direkt reagieren. Nicht erst, wenn man das Problem zufällig entdeckt oder auf einmal die Rankings leiden.

Das Dinge sich unerwartet verändern, kommt häufiger vor, als man annehmen möchte. Wahrscheinlichkeit und Häufigkeit sind aber von Seite zu Seite, von Team zu Team und von Setup zu Setup unterschiedlich.

Ziele: Wieso sollte man ein Monitoring für seine Website einrichten?

Die Frage, die wir uns stellen müssen, ist also nicht: “Geht etwas auf der Website kaputt?” sondern: “Was kann kaputt gehen und wann und wie bemerke ich es bevor (großer) Schaden entsteht?”

Einige Beispiele, die uns in der Praxis immer wieder begegnen:

Bereits implementierte Änderungen werden zurückgerollt
Konfigurationen aus dem Test-System werden auf das Live-System ausgerollt
Team-Mitglieder oder Dienstleister nehmen Anpassungen an SEO-relevanten Bausteinen ohne Rücksprache vor
Änderungen und Verbesserungen an anderer Stelle haben Auswirkungen an unbeabsichtigter Stelle
Implementierungen haben ein vor Jahren hinterlegtes Ablaufdatum an das sich keiner mehr erinnern kann

Um daraus entstehende negative Effekte zu minimieren oder im Idealfall ganz zu vermeiden, ist eine umgehende Benachrichtigung erforderlich. Denn nur so können Maßnahmen rechtzeitig eingeleitet werden.

Website-Monitoring ist somit eine Art Versicherung oder Frühwarnsystem, welches vorhersehbare Probleme so gut wie unmittelbar bei ihrem Eintreten entdeckt und meldet. Dies ermöglicht eine zeitnahe Beseitigung der Ursachen, noch bevor es weitgreifende negative Folgen, beispielsweise auf Rankings, Traffic oder Conversions, gibt.

Voraussetzungen: Was sind die Anforderungen, um das Monitoring implementieren und betreiben zu können?

Die Anforderungen zum Aufsetzen eines Website-Monitorings sind überschaubar.

Struktur & Seitentypen

Nur bei sehr kleinen Webseiten ist es sinnvoll jede einzelne URL zu überwachen. Bei größeren Webseiten bietet es sich an, das Monitoring auf Basis von Seitentypen einzurichten. In der Regel gibt es eine überschaubare Anzahl verschiedener Templates mit Untervarianten, beispielsweise

Startseite
Kategorieseiten für Produkte
- Mit / Ohne Kaufratgeber
- Mit mehr / weniger als x Produkten
- Paginierungsseiten
Produktseiten
- Verfügbares Produkt
- Unverfügbares Produkt
- Rabattiertes Produkt
Kategorieseiten für Artikel
Artikelseiten
Suchergebnisseite
Spezielle Landingpages
Checkout
Impressum, Datenschutz, Kontakt
HTML-Sitemap

Dazu kommen Nicht-HTML-Dokumente wie robots.txt, XML-Sitemaps, Bilder, Videos, CSS- und JavaScript-Dateien.

Für jeden Seitentyp können exemplarisch anhand einiger URLs spezifische Tests zur Überprüfung einzelner Sachverhalte angelegt werden, zum Beispiel “Ist die Startseite indexierbar” oder “Leitet die HTTP-Version auf HTTPS weiter” oder “Gibt es auf Artikelseiten eine H1”.

Belastbarkeit und Verfügbarkeit des Systems

Darüber hinaus muss die Website technisch für das Monitoring beziehungsweise die dadurch anfallende Last ausgelegt sein. Das bedeutet, dass eingesetzte Tools nicht geblockt werden und auch nicht durch irgendwelche Begrenzungen behindert werden. Denn wenn zum Beispiel der Zugriff verboten ist oder das System nach wenigen Anfragen nur noch “Status Code 429 - Too Many Requests” zurück spielt, erfüllt das Monitoring nicht seinen Zweck.

Grüne Wiese: Was kann überwacht werden?

Grundlegend lässt sich so gut wie alles überwachen.

Die naheliegendste Eigenschaft einer URL, die überwacht werden kann und sollte, ist ihre Erreichbarkeit in Form eines Status Codes. Darüber hinaus gibt es eine Vielzahl weiterer Aspekte, für die ein Monitoring im Kontext SEO möglich ist:

Crawling

Status Code
HTTP-Header
Robots.txt
Caching-Angaben (E-Tag, cache-control, expires)
Komprimierung
Vary-Header

Indexing

Meta Robots
Canonical
Base-Tag
Hreflang (Anzahl, Werte)

Ranking

Title
Description
H1
H2-H6
Verlinkungsmodule
Content
Schema.org (Existenz, Validität)
Header-Image

Usability

Social-Tags (og:-Tags, Twitter-Cards)
Verfügbarkeit von JavaScript und CSS
Ladezeiten / Dateigrößen
Preloads

Business-Metriken

Produkt in Stock/Out of Stock
Preis > 0€
Call to Action
Tracking-Installation

Sämtliche Code-Elemente können nicht nur auf ihre Existenz hin geprüft werden, sondern auch, wie oft sie vorkommen oder ob sie einen bestimmten Wert haben. Also beispielsweise:

Lautet der gesamte JSON-LD Block für schema.org Angaben exakt so wie zum Zeitpunkt der Testerstellung?
Ist der Title / die Description / das Canonical / die H1 unverändert und entspricht einem bestimmten hinterlegten String?
Enthält das Meta Robots Tag die Angabe “index,follow” bei einem Seitentyp, der unbedingt indexierbar sein sollte - oder “noindex,follow” bei nicht indexierbaren Templates?

Im Rahmen des Website-Monitorings werden in der Regel nicht alle URLs überwacht, sondern neben der Startseite pro relevantem Seitentyp einige exemplarische Beispiele.

Darüber hinaus können neben HTML-Seiten auch andere relevante Ressourcen überwacht werden wie beispielsweise robots.txt, XML-Sitemaps oder JavaScript-Dateien.

Neben diesen Komponenten, die aus SEO-Sicht (und letztlich auch aus wirtschaftlicher Sicht, da bei Ausfall ein Schaden denkbar ist) relevant sind, sind der Kreativität keine Grenzen gesetzt. Du kannst Dir beispielsweise auch solche Checks ausdenken:

Wann liefert die lang erwartete Landingpage, deren künftige URL Du kennst, keine 404 mehr, weil sie endlich live ist?
Wann wird ein Artikel von der Redaktion bearbeitet?
Wann hat sich auf der Seite eines Wettbewerbers oder potenziellen Leads massiv etwas geändert, beispielsweise weil der geplante Relaunch erfolgt ist?
Wann ist ein bestimmtes Produkt für einen anderen (günstigeren) Preis verfügbar und kann nun endlich in den Warenkorb gelegt und gekauft werden?

Priorisierung: Was sollte überwacht werden?

Die Erfahrung zeigt: Versucht Du alles zu überwachen, was möglich ist, kannst du schnell den Überblick verlieren. Wenn Du eine große Anzahl an Benachrichtigungen erhältst und die wirklich wichtigen Meldungen darin untergehen ist das Monitoring ist nutzlos und nichts gewonnen.

Daher ist eine Priorisierung gemäß der Fragestellung “Was ist akut wichtig und zeitlich kritisch?” notwendig. Auch anhand des Intervalls (alle x Minuten/Stunden/Wochen), in dem die Überprüfung erfolgt, wird die Dringlichkeit deutlich.

Mögliche Abstufungen der Dringlichkeit

Veränderung	Dringlichkeit
URL hat plötzlich keine 200er Status mehr oder ist auf einmal nicht mehr indexierbar	sehr hoch - sofortige Information
Title oder H1 der Startseite ändert sich	mittel - innerhalb von 24 Stunden
Description auf einer Unterseite ändert sich	niedrig - innerhalb von 1 Woche

Um eine fokussierte Sicht zu behalten, sollten insbesondere akut wichtige und zeitkritische Tests im Vordergrund stehen - also alle Änderungen und Ausfälle, die eine negative Auswirkung auf die SEO-Performance haben können.

Dazu zählen folgende Fälle:

etwas ist nicht mehr erreichbar, obwohl es erreichbar sein soll
etwas ist nicht mehr crawlbar, obwohl es crawlbar sein soll
etwas ist nicht mehr indexierbar, obwohl es indexierbar sein soll

Plus jeweils das Gegenstück dazu, sprich etwas das nicht erreichbar/crawlbar/indexierbar sein soll, ist es auf einmal doch.

Weitere wichtige Punkte:

hoch relevante Elemente wie Title, H1, Canonical, Hreflang verschwinden
hoch relevante Elemente wie Title, H1, Canonical, Hreflang ändern ihren Wert
Weiterleitungen verschwinden
Test-System ist von aussen erreichbar
Nicht (mehr) existierende Seiten tauchen wieder auf

Was für ein Test-Setup letztlich sinnvoll und hilfreich ist, hängt vom Einzelfall ab. Dieses ist zudem flexibel und kann jederzeit angepasst werden, in dem Tests entfernt oder ergänzt werden.

Welches Tool brauche ich dafür?

Als erstes solltest Du mit der Technik reden. Hat die bereits ein Tool im Einsatz oder plant eines einzuführen? Wenn Du Deine Tests mit in die Technik-Workflows bekommst, dann erhöht das deutlich die Wahrscheinlichkeit von Aufdeckung und schneller Behebung.

Gibt es kein Tool oder keinen Zugriff auf das Tool, dann gibt es vor allem diese Möglichkeiten:

Testomato

Wahrscheinlich am Bekanntesten. Testomato ist eine tolle Lösung, die wir auch im Einsatz haben. Die Freunde von Testomato haben in der Vergangenheit eine Menge Features für uns umgesetzt (Xpath-Support, Encoding-Feinheiten, API-Erstellung von Checks). Zum Aufsetzen hat Get:Traction einen Guide geschrieben.

URL-Monitor

Die Testing-Lösung mit SEO-Background. Wahrscheinlich hast Du hier das schnellste Setup.

Datadog

Im englischsprachigen Raum ist Datadog wohl am Verbreitetsten. Was es kann oder nicht kann musst Du aber selbst herausfinden.

Leankoala

Unsere Freunde aus Hamburg. Leankoala setzen wir bei uns immer mehr ein. Warum? Das Setup ist nach einer Lernkurve flexibel und schnell anzupassen. Außerdem kann Leankoala als einziges Tool Checks auf Basis des gerenderten HTMLs durchführen. Damit werden Änderungen durch JavaScript berücksichtigt. Leankoala ist also näher am Google-Bot.

Ein großer Vorteil am direkten Kontakt zu Steffie und Nils von Leankoala ist für uns auch, dass Feature Requests direkt eingereicht werden können. Diese werden dann ohne viel Aufhebens in einem riesen Tempo implementiert.

Searchmetrics Guard & Audisto

Zwei weitere Varianten, die aber etwas anders funktionieren: Searchmetrics Guard überwacht die wichtigsten URLs auf die wichtigsten Metriken. Und Audisto hebt das Testing nochmal auf ein anderes Level, indem sie das Monitoring mit dem Crawling verbinden.

Alarm: Was machen, wenn das Monitoring anschlägt?

Auch wenn man im Idealfall nur selten etwas vom Monitoring mitbekommt, wenn es denn einmal läuft, kommt es manchmal, wie es kommen muss: Ein Check läuft schief und man erhält eine Benachrichtigung per Mail. Was tun?

Schritt 1: Don’t Panic!

Ruhig bleiben. Weil hilft ja nix. Irgendwas ist passiert, kann man nicht mehr verhindern. Kühlen Kopf bewahren, um möglichst fehlerfrei und reibungslos eine Lösung zu finden.

Schritt 2: Verstehen, was passiert ist

Schauen, was los ist. Welcher Seitentyp ist betroffen, welches Problem liegt vor. Reproduzierbar? Oder vielleicht nur ein kurzer Ausfall und es ist schon wieder alles okay?

Schritt 3: Brisanz bewerten

Wenn reproduzierbar: Wie wichtig ist das? Von “Startseite auf noindex” bis “irgendein nicht wirklich dramatischer Zwischenfall” ist alles drin. Wenn hoch auf der Skala, dann SOFORT handeln. Wenn nicht so hoch, nicht alles stehen und liegen lassen, sondern zeitnah aber entspannt angehen.

Schritt 4: Problem lösen (lassen)

Wenn man es selbst lösen kann, selbst lösen. Wenn man dazu Kolleg*innen oder Dienstleister*innen benötigt → Ticket erstellen, Mail schreiben, Anruf tätigen… je nachdem, wie groß das Feuer ist.

Vielleicht aber auch aufgrund einer Änderung ab sofort neuer sinnvoller Status Quo? Dann Check anpassen (lassen).

Schritt 5: Wieder durchatmen

Entspannen! Sich freuen: Man hat das Problem schnell mitbekommen und beseitigt. Alles ist wieder gut.

tl;dr - eine kleine Zusammenfassung

Hoffentlich bist Du nun überzeugt: Website-Monitoring ist eine sehr sinnvolle Sache, die Du als Absicherung SEO-relevanter Aspekte unbedingt nutzen solltest.

Es gibt zahlreiche Komponenten, die sich auf einer Website überwachen lassen. Nicht bei allen ist es übertrieben wichtig, bei anderen aber unverzichtbar, um etwaige Risiken zu minimieren, wenn etwas ausfällt. Eine Priorisierung ist hilfreich.

Es gibt verschiedene Tools, mit denen das Website-Monitoring umgesetzt werden kann, die wir für Dich zusammengetragen und vorgestellt haben. Wie Du reagieren solltest, wenn es Alarm gibt weil einer Deiner Checks anschlägt haben wir auch geklärt.

Dann kann es doch eigentlich direkt losgehen! Am besten startest Du damit, eine Liste aller relevanten Seitentypen zu erstellen und was Du dort jeweils überprüfen möchtest.

Wir freuen uns, wenn Du Dich bei Fragen bei uns meldest!

Hat Dir der Artikel gefallen?

Neue Artikel, Updates zu unseren Artikeln und Artikel von anderen Stellen wir regelmäßig unserem Newsletter.

Beispielausgaben und Anmeldung findest Du unter Wingmen-Newsletter