Voor een succesvolle A/B test, dien je allereerst een hypothese te hebben. Een hypothese heeft als doel een specifiek (conversie)probleem op te lossen. Zo maak je de test meetbaar. Bij een A/B test, test je dan ook een hypothese en niet een idee.
Hoe stel ik een hypothese voor mijn A/B test?
Om een hypothese op te stellen, kun je de hypothese kit van Craig Sullivan gebruiken. Je vult hierbij het volgende in:
Omdat ik gemerkt hebt dat [data en/of feedback van eerder onderzoek];
verwacht ik dat [de verandering/verbetering die je wilt gaan testen] zorgt voort [impact die je verwacht] en;
die impact meet ik door middel van [de data meetlat die je gaat gebruiken].
Vul de plekken in en je testidee is veranderd naar een hypothese. Dit maakt het uiteindelijk makkelijker om je resultaten goed uit te lezen van je A/B test.
De A/B test resultaten analyseren
Zodra de testduur van je A/B test is afgelopen, bepaalt Reloadify aan de hand van de statistieken automatisch een winnaar. De overige profielen uit de doelgroep ontvangen vervolgens de winnende variant van de nieuwsbrief. Tijd om de resultaten te analyseren!
De analyse gaat over veel meer dan alleen bekijken welke variant gewonnen of verloren heeft. Dit hangt volledig van je hypothese af. Wat wilde je testen en hoe is dat behaald? Het zou goed kunnen dat je 'verliezende' variant juist een winnende variant wordt als je een ander segment gebruikt. Denk dus goed na welk segment je welke A/B test geeft.
Sterker nog: zelfs uit de verliezende variant zijn conclusies te trekken, net als uit de winnende variant. Waarom heeft de winnende variant gewonnen? En heeft de verliezende variant misschien minder afmelders dan de winnende variant? Word wijzer van je testresultaten. Ook uit de individuele variant A en individuele variant B.
Tips voor het bewaren van de resultaten van een A/B test
Bewaar de resultaten van je A/B tests goed. Zonder een goed test-archief gaan alle inzichten verloren. Daarnaast is de kans groot dat je dezelfde tests uit gaat voeren als je alles niet goed bewaard.
De volgende elementen zijn onmisbaar in je rapport van A/B tests:
De hypothese
Screenshots van de A/B testresultaten
Welke variant gewonnen/verloren heeft
Inzichten die de analyse je gebracht heeft
In de loop van de jaren zul je jezelf dankbaar zijn voor het bijhouden van dit archief.
💡 Meer weten over A/B testen? Lees ons artikel over het instellen van een A/B test voor nieuwsbrieven.