Bevor Du einen A/B-Test startest, musst Du zunächst eine Hypothese aufstellen. Eine Hypothese ist messbar und zielt auf die Lösung eines spezifischen (Umstellungs-) Problems ab. Bei einem A/B-Test testest Du eine Hypothese und nicht eine Idee.
Hierfür kannst Du das Hypothesen-Kit von Craig Sullivan verwenden:
Weil ich festgestellt habe, dass [Daten und/oder Feedback aus früheren Untersuchungen]....
Ich erwarte, dass [die zu prüfende Änderung/Verbesserung] [die von Dir erwartete Auswirkung] haben wird und....
Ich werde diese Auswirkungen mit [das von Dir verwendete Instrument zur Datenmessung] messen.
Fülle die Lücken aus und Deine Testidee wird in eine Hypothese umgewandelt. Das macht es letztlich einfacher, die Ergebnisse Deines A/B-Tests zu lesen.
Wenn Dein A/B-Test abgeschlossen ist und Du einen Gewinner hast, erhalten die anderen Profile, die noch keine E-Mail erhalten haben, die Gewinnervariante. Dann ist Dein A/B-Test beendet, richtig?
Aber was dann?
Das hängt ganz von Deiner Hypothese ab. Was wolltest Du testen und wie wurde es erreicht? Es kann durchaus sein, dass Deine "Verlierer - Variante" zu einer Gewinner - Variante wird, wenn Du ein anderes Segment verwendest. Überlege also genau, welchem Segment Du welchen A/B-Test zuweist. Außerdem können sowohl aus der Verlierer- als auch aus der Gewinnervariante Schlussfolgerungen gezogen werden. Warum hat die Gewinnervariante gewonnen? Und hatte die Verlierervariante vielleicht weniger Abmeldungen als die Gewinnervariante? Werde aus Deinen Testergebnissen klüger. Auch von der individuellen Variante A und der individuellen Variante B.
Es besteht eine gute Chance, dass Deine Verlierervariante in einigen Segmenten ein Gewinner ist, eine Information, die Du jetzt und in Zukunft zu Deinem Vorteil nutzen kannst.
Bei der Analyse geht es um viel mehr als nur um die Frage, welche Variante gewonnen oder verloren hat. Wirf auch einen Blick auf beispielsweise die einzelnen Segmentdaten.
Wie Du die Ergebnisse Deiner A/B-Tests speicherst
Angenommen, Du machst morgen Deine erste große Prüfung. Wirst Du Dich in ein paar Jahren noch genau daran erinnern, was das Ergebnis war und warum? Wahrscheinlich nicht. Aus diesem Grund solltest du die Ergebnisse Deiner A/B-Tests speichern. Ohne ein gutes Testarchiv sind alle Erkenntnisse verloren. Außerdem ist die Wahrscheinlichkeit groß, dass Du die gleichen Tests durchführst, wenn Du nicht alles richtig speicherst.
Im Prinzip kannst Du Dein Archiv so einrichten, wie Du willst, solange es die folgenden Elemente enthält:
Deine Hypothese
Screenshots Deiner A/B Test - Resultate
Welche Variante gewonnen oder verloren hat
Einsichten, die die Analyse Dir gebracht hat
Im Laufe der Jahre wirst Duo Dich dafür bedanken, dass Du dieses Archiv geführt hast.