Wie funktionieren AB Testings?

Voraussichtliche Lesedauer: 14 Minuten

Hast du bereits von AB-Testings gehört? Sie helfen dir dabei, zwei Versionen einer Website oder eines Online-Shops miteinander zu vergleichen und damit deinen Internetauftritt zu verbessern, um beispielsweise mehr potenzielle Kunden von deinen Produkten zu überzeugen. Beim Testen von Software für ein optimales Nutzererlebnis hilft dir die Methode ebenfalls weiter. Nachfolgend erfährst du alles Wichtige rum um A/B-Testings mit konkreten Beispielen und inklusive einer Schritt-für-Schritt-Anleitung sowie möglichen Fehlerquellen.

Was ist A/B-Testing? Begriffserklärungen und Überblick zur Methode

A/B-Testing ist auch als Split-Testing bekannt und bezeichnet ein zufallsbasiertes Experimentierverfahren. Split-Tests lassen jedoch ganze Webseitendesigns gegeneinander antreten. Der Begriff entstammt dem Online-Marketing und steht für einen Test, bei dem unterschiedliche Versionen von Websites, Apps und Newslettern miteinander verglichen werden. Dazu bestimmst du zwei verschiedene, jedoch gleichgroße Gruppen an Testpersonen. Jede Gruppe bekommt jeweils eine Variante zu sehen. Das kann zum Beispiel ein Button zum Bestellen in einem Online-Shop oder eine informative Webseite sein. Am Ende zählst du einfach, welche Version häufiger angeklickt wurde. Der Name bezieht sich auf die Testvariante A, bei der die zu testende Variable unverändert bleibt und die Kontrollvariante B, welche eine veränderte Variable enthält.

Gewinner ist jene Variante, welche deine Schlüsselkennzeichen bzw. Key Performance Indicators (KPI) in die gewünschte Richtung bewegen. Resultat ist ein optimales Nutzererlebnis. Zugleich steigert sich dadurch der Return on Investment (ROI), also schlussendlich der Gewinn oder die erwartbare Rendite. Bereits minimale Veränderungen kannst du damit beobachten und analysieren.

Drei Arten von A/B-Tests zusammengefasst

• Der klassische A/B-Test vergleicht zwei oder mehrere Varianten einer Webseite, die sich unter der gleichen URL finden. Zu welcher Variante die Nutzer gelangen, entscheidet der Zufall. Es werden nur einzelne Elemente getestet.
• Split-Tests oder Weiterleitungstests, bei welchen der Traffic deiner Seite an eine oder gleich mehrere andere URLs weitergeleitet wird. Das können zum Beispiel unterschiedliche Landingpages sein. Darüber hinaus kommen Split-Tests bei neuen Seiten zum Einsatz.
• Ein multivariater Test ermöglicht das Testen mehrerer Kombinationen eines Elements. Ein Beispiel sind verschiedene Farb- und Textvarianten eines Buttons. Klassische A/B-Tests sind genauer.

Wo findet die Methode im digitalen Umfeld Anwendung?

Anwendung findet diese Methode überwiegend im Webdesign, im Marketing und beim Testen von Software. Am häufigsten geht es um das Testen von Online-Shops und Websites sowie im Online-Marketing, um die Performance einer Website messbar zu ermitteln. Ähnliches gilt für gängige Apps. Im Fall, dass eine Gruppe als Kontrollgruppe fungiert, spricht man von einem randomisierten Experiment. Der Test vereinfacht die Website-Optimierung für eine bessere Performance erheblich. Er bildet eine der Komponenten des übergeordneten Prozesses der Conversion-Rate-Optimierung. Sowohl qualitative als auch quantitative Erkenntnisse sammelst du im Rahmen dieses Prozesses. Sogar die Zufriedenheit mit Website-Funktionen lässt sich damit besser verstehen.

A/B-Testing ist überall dort anwendbar, wo ein Vergleich zwischen zwei unterschiedlichen Versionen möglich ist. Das betrifft verschiedene Titel und Überschriften von Websites genauso wie Buttons, Fotos, Seitenstrukturen oder verwendete Farben. Navigationsleisten kommen ebenfalls unter die Lupe. Selbst Preise und Geschäftsmodelle finden Eingang in den A/B-Test. Für dich als Gründer fällt dieser Test ziemlich kostengünstig aus. Gerade im digitalen Umfeld hat sich diese Methode sehr stark durchgesetzt. Auch über das CMS WordPress ist eine Integration von A/B-Testings möglich. Steckt diese Software hinter deiner Website, hast du hier die Wahl zwischen einigen Tools, um deine Conversion Rate zu optimieren.

Wie funktioniert A/B-Testing?

Die Auswahl geschieht beim A/B-Test ganz nach dem Zufallsprinzip und die teilnehmenden Personen wissen in der Regel nicht, dass sie gerade an einem solchen Test partizipieren. Auf diesem Weg erhältst du als Gründer oder Selbstständiger wertvolle Informationen über deine anvisierte Zielgruppe. Damit kannst du deine Verkäufe, Newsletter-Anmeldungen oder in Anspruch genommenen Dienstleistungen längerfristig erhöhen. Du orientierst dich dabei stets an den Kundenwünschen und steigerst dadurch die Kundenzufriedenheit mit deinem Angebot oder deinen Leistungen. Mit der Zeit wird negatives Feedback deutlich geringer ausfallen und du erhältst insgesamt weniger Supportanfragen. Es empfiehlt sich, zunächst nur einzelne Änderungen vorzunehmen, sodass zunächst keine großen Abweichungen von der bisherigen Conversion Rate entstehen.

Vor- und Nachteile von A/B-Testings

Seien es unqualifizierte Leads oder Seitenabbrüche auf Online-Shops – bei diesen und weitere Schwierigkeiten schafft ein qualifizierter AB-Test Abhilfe. Die meisten Besucher kommen mit einer bestimmten Absicht auf deine Website. Entweder möchten sie sich über dein Angebot informieren oder sogar gleich bestimmte Produkte kaufen, welche du im Sortiment führst. Manche Besucher stöbern auch einfach nur. Früher oder später wird der Besucher auf eine Hürde stoßen. So mag der Text unverständlich sein oder dein CTA-Button erweist sich als schlecht sichtbar. Macht dein Besucher eine schlechte Erfahrung auf deiner Homepage, sinkt in der Folge die Conversion Rate. Lösen lassen sich diese Probleme mittels Datensammlung und einer Analyse des Besucherverhaltens. Das gilt nicht nur für Selbstständige und Gründern, sondern ebenso für Unternehmen aus den Branchen E-Commerce, E-Learning, Medien, Tourismus oder Bildung.

Einige Elemente, die mithilfe von A/B-Testings untersucht werden können, im Überblick:

• Titel und Überschriften
• Call-to-Action-Buttons
• Inhalt und Texte
• Bilder und Fotos
• Formulare
• Seitenstrukturen
• Bezeichnungen
• Produkt- und Preisanzeigen
• Und noch viele weitere Elemente

Die Bandbreite an Möglichkeiten reicht vom Design und Layout deines Internetauftritts über Navigation und CTA bis zu Content und inhaltlicher Tiefe.

Beispiele für A/B-Testing

Medienbranche

Medienunternehmen und Verlage möchten die Anzahl ihrer Abonnements steigern und die Verweildauer auf ihrer Website oder ihrem Social-Media-Auftritten erhöhen.
Was die bekannten Unternehmen der Unterhaltungsbranche angeht, ist die beliebte Filmplattform Netflix ein gutes Beispiel. Wie erzieht der Anbieter ein so gutes Streaming-Erlebnis? Dahinter steckt ein strukturiertes und rigoroses A/B-Testprogramm. Viele andere Unternehmen hinken in dieser Hinsicht noch weit hinterher. Netflix personalisiert seine Homepage strikt, um jedem einzelnen Nutzer ein persönliches Erlebnis bieten zu können. So erscheinen deine ganz persönlichen Lieblingsfilme auf der Startseite auf Basis deiner Vorlieben.

E-Commerce

Im E-Commerce steht der Marktriese Amazon an der Spitze, was die Nutzung von A/B-Testings und den Aufbau eines personalisierten Nutzererlebnisses anbelangt, seien es neue Vorschläge für Käufe oder in der Vergangenheit abgegebene Rezensionen. Die Tests helfen dabei, den durchschnittlichen Bestellwert von Kunden zu erhöhen und Warenkorbabbrüche zu reduzieren. Verantwortlich für diese Vorrangstellung ist nicht zuletzt die überragende Größe und Bedeutung des Konzerns. Amazon steckt immense Aufwendungen in die Customer Experience. Einmal eingeloggt, ist der Bestellvorgang ein Kinderspiel. Das mag auch der Hauptgrund dafür sein, dass der Online-Riese trotz aller Kritik weiterhin so flächendeckend von einer Vielzahl an Kunden genutzt wird.

Im Tourismus und der Reisebranche

In der Reisebranche ist Booking.com führend bei der Umsetzung von AB-Tests. Von Anfang an setzte der Branchenriese auf diese Methode, um seinen Umsatz zu steigern. Sogar die Mitarbeiter selbst dürfen neue Ideen testen. Waren anfangs nur Hotels über Booking.com buchbar, nahm das Unternehmen mit Sitz in Amsterdam ab 2017 auch Ferienwohnungen in sein Angebot mit auf. Zu Beginn kam es jedoch zu Schwierigkeiten bei der Lancierung von Ferienwohnungen auf dem Portal. Daher testete Booking.com drei Versionen, um zu sehen, welche unter ihnen bei den Kunden am besten abschneiden würde. Filter zu Unterkunftskategorien, Ausstattung und Entfernung zum Stadtzentrum vereinfachen das Nutzererlebnis noch weiter.

B2B

Im Bereich B2B und Cloud Computing spielt A/B-Testing ebenfalls eine bedeutende Rolle, denn Software-Anbieter sind gleichfalls auf der Suche nach ihrer genauen Zielgruppe im Meer der Internetsurfer. Die Anwerbung geschieht durch Anzeigen, Webinare oder Präsentation der relevantesten Inhalte. Es gilt die Landingpage exakt auf die Erwartungen der Interessenten auszurichten. Ein oft genanntes Problem im B2B-Bereich ist, dass statistische Signifikanzen bei den kleinen Stichproben in diesem Umfeld nur schwer und unter einigem Aufwand erreichbar sind.

Schritt-für-Schritt-Anleitung, um einen A/B-Test durchzuführen

Nachfolgend erfährst du, was du beachten solltest, wenn du einen A/B-Test selbst durchführen möchtest. Denn schließlich möchtest du ja konkrete Ergebnisse erhalten. Zunächst einmal ist ein A/B-Test mit einigem Aufwand verbunden, denn es handelt sich hierbei um eine sehr systematische Methode. Dennoch solltest du die einzelnen Schritte genau befolgen. Mal schauen, was passiert und einfach mal so loslegen, ist jedenfalls keine gute Strategie.

Zunächst heißt es bestehende Probleme und Optimierungspotenziale zu identifizieren. Dazu testest du ausschließlich Dinge, die schlussendlich auch überprüfbar sind. Zunächst steht jedoch das Sammeln von aussagekräftigen Nutzerdaten an. Dabei helfen dir Interviews, Umfragen, Analyse Tools von Google Analytics, aber auch Eye-Tracking-Tools. Heatmaps zeigen dir außerdem, wie weit Besucher auf deiner Seite scrollen.
Im nächsten Schritt folgt die gründliche Durchschau aller gesammelter Daten. Notiere dir währenddessen Fragen zu den erhaltenen Antworten. Aber auch eine eigene Einschätzung zum möglichen Verbesserungspotenzial ist bedeutsam. Dies hilft dir dabei, das mögliche Zeitpotenzial genauer abzuschätzen. Achte gerade auf solche Verbesserungen, die für die Benutzer sofort sichtbar sind und zum Beispiel von ihnen besonders häufig angeklickt werden. Welche Strategien verhindern deiner Meinung nach einen sofortigen Seitenabbruch? Nun wählst du die Testgruppe. In vielen Fällen lohnt es sich diese deutlich einzugrenzen. Eine gezielte Segmentierung kann dir an dieser Stelle weiterhelfen. Danach formulierst du deine Hypothese und stellst dazu eine Behauptung auf. Zahlen aus diversen Webanalysetools helfen dir bei der Messbarkeit aller Variablen. Wähle dann spätestens die konkreten Tools aus, um die A/B-Tests durchzuführen.

Neben kostenpflichtigen Tools existieren eine Reihe solcher Werkzeuge, die kostenlos heruntergeladen werden können. Für einige unter ihnen ist jedoch fundiertes Fachwissen von Nutzen. Am Ende findest du mit etwas Glück genau die Lösung, welche optimal zu deinen eigenen Fähigkeiten, Anforderungen und konkreten Testfällen passt.
Nun steht die konkrete Durchführung des Tests an. Wähle dazu eine ausreichend große Testgruppe und eine aussagekräftige Laufzeit. Sommer- und Weihnachtsferien erweisen sich etwa als denkbar schlechte Zeiten. Letztendlich sollte die sogenannte Zuverlässigkeitsrate bei ca. 95 Prozent liegen, um Zufälle quasi gänzlich auszuschließen.

Nach ungefähr zwei Wochen sollte bei richtiger Durchführung ein aussagekräftiges Testergebnis vorliegen. Starte aber keinesfalls jeden Tag einen neuen Test. Bei erfolgreicher Durchführung geht es nun daran, den Test anhand deiner aufgestellten Hypothesen zu überprüfen. Die dafür vorgesehenen Softwares stellen dir in der Regel mehrere Auswertungs- und Archivierungsfunktionen bereit. Wurden deine Erwartungen erfüllt oder weichen die erhaltenen Ergebnisse beträchtlich von deinen ursprünglichen Erwartungen ab? Wandele im Zweifelsfall die Testkriterien nochmals ab. Hilfreich ist es, wenn du alle Testergebnisse – erfolgreiche wie erfolglose gleichermaßen – dokumentierst.
In den letzten beiden Schritten setzt du die Optimierung deiner Website um und beobachtest diese anhand der messbaren Zahlen. Nach Ende eines Testzyklus kannst du mit neuen Hypothesen einen neuen Test starten, indem du beispielsweise völlig andere Elemente testest und die du beim vorherigen Testing bewusst weggelassen hast.

Welche Tools stehen dafür zur Verfügung?

Für A/B-Testings gibt es eine Vielzahl unterschiedlicher Tools. Wenn du noch nie einen solchen Test durchgeführt hast, ist Google Optimize das richtige Tool für dich. Es ist Teil der Analytics360-Suite und in Google Analytics integriert. Bei diesem Tool hast du die Wahl zwischen verschiedenen Targeting-Möglichkeiten.
Optimizely heißt ein weiterer großer und empfehlenswerter Anbieter. Die Benutzeroberfläche ist sehr übersichtlich gestaltet und es lassen sich verschiedene Tests erstellen. Neben einem Basis-Angebot besteht noch eine Professional-Version für höhere Ansprüche. Interessant ist, dass der Preis vom monatlichen Traffic abhängt.
Ein drittes Tool trägt den Namen AB Tasty. Im Bereich Conversion Rate-Optimierung bietet dir dieser Anbieter eine Komplettlösung. Zum einen kannst du natürlich einen oder mehrere Tests aufsetzen und hast darüber hinaus die Möglichkeit, unterschiedliche Nutzersegmente auf der Website festzulegen. Dasselbe gilt beispielsweise für Bannerformate. Es existiert auch eine mobile Version als App.
Weiterhin sind A/B-Tests mit Shopware möglich, indem das Original einfach dupliziert wird. In der zweiten Variante veränderst du dann Produktbeschreibungen oder Anordnungen in den Einkaufswelten. Shopware ist einer der global führenden Produzenten von Software für Online-Shops. Gerade in diesem Segment zahlt sich ein attraktives Nutzererlebnis am Ende in mehrfacher Hinsicht aus.

Statistische Ansätze, die dir bei der Auswertung helfen

Zwei wichtige statistische Ansätze kommen zur Anwendung, um aus den Testergebnissen die richtigen Schlussfolgerungen ziehen zu können. Dies sind der frequentistische Ansatz und der Bayes’sche Ansatz. Sie verfolgen recht gegenläufige Strategien.

Frequentistischer Ansatz

Der frequentistische Ansatz nimmt die Frequenz, mit der ein bestimmtes Ereignis bei einer Vielzahl von Versuchen eintreten wird. Je mehr Daten du in den Test einspeist, desto eher kannst du daraus die richtigen Schlussfolgerungen ableiten. Das bedeutet, dass es wesentlich auf die angesetzte Stichprobengröße ankommt. Basis bildet die Annahme, dass jedes Experiment beliebig oft wiederholt werden kann. Details spielen bei diesem Ansatz eine wichtige Rolle und die Tests dauern ein Vielfaches länger als beim Bayes’schen Ansatz. Insgesamt ist er außerdem schwerer zu verstehen.

Bayes’scher Ansatz

Der Bayes’sche Ansatz ist stark theoriegestützt und bedient sich einer komplett anderen Interpretation von Wahrscheinlichkeit. Das heißt je mehr du über ein bestimmtes Ereignis weißt, desto besser kannst du das Endresultat vorhersagen. Wahrscheinlichkeit stellt demnach kein fester Wert dar, sondern ändert sich mit dem Sammeln von neuen oder zusätzlichen Informationen. Auch Ergebnisse vergangener Tests spielen darin hinein.

Verglichen mit dem frequentistischen Ansatz, bekommst du wesentlich schneller Ergebnisse. Tiefgreifende Kenntnisse der Statistik brauchst du für diesen Ansatz nicht. Natürlich benötigt auch dieser Ansatz genügend Daten, doch lässt sich dann prinzipiell zu jedem beliebigen Zeitpunkt die Wahrscheinlichkeit bestimmen, welche Version zu einer besseren Conversion Rate führt.

Welcher Ansatz der bessere ist, hängt von deinen persönlichen Vorlieben ab. Beide weisen Vor- und Nachteile auf.

Vermeidbare Fehler und zu meisternde Herausforderungen im Zusammenhang mit A/B-Tests

Planung, Geduld und Präzision sind beim A/B-Testing die wichtigsten Faktoren, denn Fehler kosten Zeit und zugleich Geld. Die häufigsten Fehler sind eine fehlerhafte Planung und das Testen zu vieler Elemente auf einmal. Hinzu gesellen sich ein Ignorieren der statistischen Signifikanz und eine falsche Dauer der Tests. Aber auch die Missachtung externer Faktoren und eine Verwendung der falschen Tools wirken sich negativ auf den Gesamtprozess aus.
Nicht weniger vielfältig präsentieren sich die möglichen Herausforderungen. So gilt es zu entscheiden, was konkret getestet werden soll und wie die Hypothesen dazu lauten müssen. Oft genug ist es auch herausfordernd, den genauen Stichprobenumfang festzulegen. Die Analysierung der Testergebnisse gestaltet sich nicht weniger aufwändig. Weitere Herausforderungen sind die Etablierung einer Testkultur sowie die Änderung von Experimenteinstellungen während eines laufenden AB-Tests.

Lohnen A/B-Testings den Aufwand überhaupt?

Aus Marketing-Perspektive lohnt es auf jeden Fall den Aufwand, da sich der Optimierungsprozess deiner Website klarer gibt und die Umsetzung von Marketingstrategie und Zielen deutlich leichter ausfällt. So musst du dich nicht mehr länger auf das Zufallsprinzip oder dein eigenes Bauchgefühl verlassen. Viele der Herausforderungen lassen sich durchaus lösen, andere hängen stark von deiner persönlichen Herangehensweise ab.
Begreife A/B-Tests als iterativen Prozess, denn dies hilft dir auf deinem Weg zum Erfolg ungemein. Bleibst du dennoch auf dem Weg stecken, konsultiere Experten oder besuche eine Schulung in diesem Bereich. Selbst mit limitierten Ressourcen lässt sich viel anstellen.

Fazit

Sei dir der Komplexität und Schwierigkeiten eines A/B-Tests bewusst, um diesen erfolgreich durchzuführen. Befolge die einzelnen Schritte mit der gegebenen Sorgfalt und achte stets auf mögliche Fehler, die während des Prozesses auftreten können. Dann sind die Chancen am größten, dass du am Ende alle Schwachstellen auf deiner Website beseitigen konntest. Technisch sind keine Voraussetzungen unabdingbar. Gerade wenn du auf deiner Website Produkte und Dienstleistungen zum Verkauf anbietest, solltest du am besten gleich mehrere A/B-Testings durchführen, um Traffic und Umsatz zu steigern.

Beratung zu diesem Thema erwünscht? Buche hier unten direkt einen Termin mit unseren Experten.