Was ist A/B-Testing?

Unter A/B-Testing versteht man das Testen von zwei verschiedenen Versionen einer Website oder Landing Page. Dabei wird die Performance der jeweiligen Seiten in Bezug auf Produktverkauf, Registrierung etc. getestet. Nachdem die verschiedenen Versionen erstellt wurden, wird der Traffic (Besucher der Website) über einen bestimmten Zeitraum per Zufall auf diese Seiten verteilt. Durch die zufällige Verteilung des Traffics kann analysiert werden, welche Seite eine höhere Conversion Rate (CVR) erzielt. Die Version mit der höheren Conversion Rate wird dauerhaft in die Webseite implementiert und eventuell zu einem späteren Zeitpunkt erneut gegen eine andere Variante getestet.

Im Rahmen eines A/B-Tests wird häufig das Wording sowie die Länge, Farbe und Platzierung des “Call to Action”, also der zentralen Handlungsaufforderung der Website (z.B. “Registrierungsbutton”) getestet. Weitere wichtige Elemente, die bei einem Test miteinander verglichen werden, sind:

Design und Layout
Länge, Anzahl und Art von auszufüllenden Feldern
Überschrift oder Produktbeschreibung
Preise oder Rabatte
Bilder, Grafiken oder Videos
Textinhalt

Kleinste Änderungen im Design und Aufbau, wie z.B. Farbe, Größe eines Buttons oder die Position einzelner Elemente, können die Conversion und damit die Performance einer Landingpage beeinflussen. Besonders wichtig ist es, bei einem A/B-Test nicht den subjektiven Geschmack in den Vordergrund zu stellen – viel wichtiger sind die Kennzahlen eines A/B-Tests.

A/B-Testing auf Amazon

Auch auf Amazon haben Seller und Vendoren die Möglichkeit, A/B-Tests durchzuführen. Dabei werden von einem Produktangebot zwei Versionen erstellt, die miteinander verglichen werden. So kann innerhalb eines vorher definierten Zeitraums evaluiert werden, welche der beiden Darstellungen besser abschneidet. Dazu werden die Amazon-Kunden in zwei Gruppen aufgeteilt. Während die eine Gruppe Version A angezeigt bekommt, sieht die andere Gruppe Version B. Am Ende wird ermittelt, welche Version zu mehr Verkäufen und einer besseren Conversion geführt hat.

Dabei haben Seller und Vendoren die Möglichkeit folgende Bereiche eines Artikels und damit der Produktdetailseite anzupassen:

A+ Produktbeschreibung
Aufzählungspunkte
Hauptbild
Produktbeschreibung
Produkttitel

Um dieses A/B-Experiment durchführen zu können, klicken Seller in der Seller-Central auf „Marken“ und dann auf „Experimente verwalten“. In der Vendor-Central findet man diesen Bereich unter „Marketing“ und klickt dann auf „Ihre Experimente verwalten“. Über den Button „Experimente-Startseite“ gelangen Vendoren ebenfalls auf die oben abgebildete Ansicht. Der A/B-Test steht registrierten Markeninhabern kostenlos zur Verfügung.

Planung eines A/B-Tests

Um ein aussagekräftiges Ergebnis des A/B-Tests zu erhalten, sollten Seller oder Vendoren im Vorfeld einen guten Plan erstellen, wie sie bei diesem Experiment vorgehen wollen. Dazu ist es notwendig zu prüfen, welches Produkt sich überhaupt für einen A/B-Test eignet. Schließlich ist zu bedenken, dass ein A/B-Test Zeit in Anspruch nimmt. Neben der Erstellung einer zweiten Variante sollte auch genügend Zeit für die Testphase eingeplant werden. Im Idealfall sollte eine solche Testphase die vollen 10 Wochen, mindestens aber 8 Wochen dauern. Denn um wirklich verwertbare Ergebnisse zu erzielen, ist eine gewisse Laufzeit notwendig, insbesondere wenn es sich um Produkte handelt, die hochpreisig sind und von den Kunden nicht unbedingt spontan gekauft werden.

Damit sich der ganze Aufwand lohnt, ist es von Vorteil, wenn das Ergebnis eindeutig ist, so dass man ggf. alle weiteren Optimierungen an dieser Vorlage ausrichten kann.

Wenn diese Überlegungen abgeschlossen sind, können die nächsten Schritte durchgeführt werden:

Erstellung einer zweiten Version (Version B)
Einrichtung des A/B-Tests
Durchführung des A/B-Tests über einen zuvor definierten Zeitraum
Interpretation der Ergebnisse

Erstellung eines A/B-Tests

Bei der Erstellung eines A/B-Tests gehen Seller und Vendoren nach erfolgreicher Anmeldung in der Seller- bzw. Vendor-Central identisch vor. Das folgende Beispiel zeigt die Erstellung eines A/B-Tests bzw. Experiments anhand einer A+ Produktbeschreibung/A+ Content.

1. Auswahl des Bereiches
Amazon-Händler wählen dazu den entsprechenden Bereich aus und gelangen dann zur folgenden Darstellung.

2. Referenz-ASIN wählen
Anschließend wird das entsprechende Produkt ausgewählt. Dabei ist zu beachten, dass nicht jedes Produkt automatisch für einen A/B-Test geeignet ist. Welche Artikel geeignet sind, kann man in der Spalte ASIN-Berechtigungsstatus erkennen.

3. A/B-Testinformationen
Im nächsten Schritt wählen Seller oder Vendoren einen A/B-Testnamen aus. Anschließend wählt der Amazon-Händler eine Laufzeit, wobei dieses Experiment mindestens 4 Wochen und maximal 10 Wochen dauern kann. Das Feld Hypothese ist optional.

Amazon-Händler erhalten an dieser Stelle Beispiele für Hypothesen und können diese durch Anklicken in den Bereich einfügen. Es ist aber auch möglich, eine eigene Hypothese zu erstellen.

4. Inhaltsauswahl

An dieser Stelle wählt man nun einen Bereich A und anschließend einen Bereich B aus, der im besten Fall bereits im Vorfeld vom Amazon-Händler erstellt wurde. Hinweis: Für die Erstellung von A+ Content empfehlen wir unseren Amazon A+ – der Guide für Seller und Vendoren.

5. Upload
Im letzten Schritt werden die beiden Varianten an Amazon übermittelt und der A/B-Test kann beginnen.

Auswertung des A/B-Tests

Nach Ablauf der Testperiode erhalten Seller oder Vendoren eine Auswertung von Amazon.

In diesem Fall war das Ergebnis nach einer Laufzeit von 8 Wochen nicht wirklich aussagekräftig. Die neu erstellte Version B ist mit einer minimalen Wahrscheinlichkeit von 6 Prozent besser ausgefallen als Version A. Dieser Effekt wird als eher schwache Evidenz bewertet.

In tabellarischer Form erhalten Seller und Vendoren zusätzlich Auswertungen zu den Bereichen:

Einheiten pro eindeutigen Besucher: Dies ist die Summe der bestellten Einheiten im Verhältnis zur Gesamtzahl der Einzelbesucher.
Konversion: Diese Kennzahl berechnet sich aus den Kunden, die mindestens einmal dieses Produkt gekauft haben im Verhältnis zu den Kunden, die am A/B-Test teilgenommen haben.
Verkaufte Einheiten: Gibt an, wie viele Artikel tatsächlich verkauft wurden.
Verkauf: Ergebnis der verkauften Einheiten in Geldwert.
Stichprobenumfang: Gibt die Anzahl der Käufer an, wobei nur angemeldete Amazon-Kunden gezählt werden, die auch den A+ Content auch gesehen haben.

Darüber hinaus erhalten Amazon-Händler in Form von Balkendiagrammen einen Überblick über die verkauften Einheiten, die Gesamtverkäufe und die Konversionsrate.

Des Weiteren gibt Amazon eine Prognose über den möglichen Effekt innerhalb eines Jahres ab. Dabei wird zwischen Idealfall, wahrscheinlichstem Fall und ungünstigstem Fall unterschieden.

Fazit zum A/B-Test auf Amazon

Mit einem A/B-Test können Sellern und Vendoren die Listungen eines Produktes über einen bestimmten Zeitraum miteinander vergleichen. Dabei ist es sinnvoll, sich im Vorfeld genau zu überlegen, welche Produkte sich dafür wirklich eignen. Zudem sollten Amazon-Händler bedenken, wie viel Zeit und damit auch Geld es kostet, eine weitere Variante für das Hauptbild, den Titel, die Bullet-Points, die Produktbeschreibung oder den A+ Content zu erstellen. Aber auch die Ergebnisse sollten kritisch hinterfragt werden. Aus diesem Grund sollten Seller und Vendoren immer darauf achten, dass die erzielten Ergebnisse auch eine gewisse Quantität aufweisen. Bei sehr geringen Besucherzahlen und/oder Verkäufen ist eine Prognose in der Regel eher vage und sollte hinterfragt werden.

Um langfristig auf Amazon erfolgreich zu sein, müssen Amazon-Händler aber noch viele weitere Dinge beachten. Sei es beim Setup, der Verwaltung, der Erstellung oder der Auswertung von Kampagnen, unser intomarkets Expertenteam steht Ihnen gerne zur Seite. Mit der richtigen Mischung aus Automatisierung, menschlicher Kontrolle und professionellem Know-how entwickeln wir unsere Strategie ständig weiter. Lassen Sie uns gemeinsam einen Blick auf Ihre Ziele auf Amazon werfen.