Het is mogelijk om je nieuwsbrief A/B te testen. Wil je bijvoorbeeld je open ratio, click ratio of aantal afmeldingen A/B testen? Dat kan! In dit artikel leg ik je uit hoe een A/B test werkt, hoe je deze instelt en hoe je de resultaten analyseert.
Waarom A/B testen?
Hoe werkt een A/B test?
Tips voor het A/B testen
Een A/B test instellen voor een nieuwsbrief
A/B test resultaten analyseren
En de winnaar is...
Waarom A/B testen?
Met het A/B testen van je nieuwsbrief test je wat het beste werkt in een e-mail. Is dat een blauwe button, of juist een groene button? Werkt een duidelijk onderwerp het beste of levert een teasend onderwerp meer opens op?
Hoe werkt een A/B test?
In het kort: bij een A/B test maak je twee versies van je nieuwsbrief op. Wanneer je de nieuwsbrief verstuurd, begint de test. Er wordt een steekproef genomen van de totale doelgroep en deze steekproef wordt in tweeën gesplitst. De ene helft ontvangt versie A van je nieuwsbrief, de tweede helft ontvangt versie B. Zodra de test is beëindigt wordt de winnende variant naar de volledige doelgroep gestuurd.
💡 Bedenk nog vóór je een A/B test live zet, wat je met de resultaten wilt bereiken. In dit artikel lees je wat je met de resultaten van je A/B test kunt.
Tips voor het A/B testen
Bij een A/B test kun je op drie resultaten testen:
Open ratio
Click ratio
Afmeldingen
We geven je graag een aantal tips waar je zoal op test:
Open ratio. Om je open ratio te testen laat je de naam van de afzender, e-mail onderwerp of pre-header verschillen van elkaar. Test steeds één van de drie. Anders weet je nooit aan welke wijziging de doorslag gaf voor het kiezen van de winnaar.
Click Ratio. We meten het aantal klicks in je nieuwsbrief. Je click ratio gaat over de inhoud van je nieuwsbrief. Laat de inhoud van variant A verschillen met variant B. Verander alleen een button, hero image of een tekst. Op welke variant wordt het meeste geklikt? Test het en laat je content aansluiten op je doelgroep.
Afmeldingen. Wij meten het aantal afmeldingen per nieuwsbrief. Veel mensen melden zich af voor de nieuwsbrief omdat de inhoud niet interessant. Probeer je te verplaatsen in je klant: waarom zou jij je afmelden voor een nieuwsbrief? Staan er geen interessante aanbiedingen in je nieuwsbrief? Of ligt het toch aan de artikelen zelf? Goed doortesten waarom jouw klanten zich afmelden voor de nieuwsbrief.
❗Test steeds één element tegelijk. Wanneer je alle drie de graadmeters wilt testen, wegen ze allemaal even belangrijk af. Dus elke graadmeter weegt 1/3. Test je twee graadmeters tegelijk? Dan wegen we ze ook even zwaar tegen elkaar af met 50/50.
Een A/B test instellen voor een nieuwsbrief
Stap 1. Maak een nieuwe nieuwsbrief op
Je begint met het opstellen van je nieuwsbrief. In stap 1 selecteer je je doelgroep.
In stap 2 van de nieuwsbrief vind je de instellingen voor de A/B test.
Stap 2. E-mail instellingen
Om A/B testen in te schakelen voor jouw nieuwsbrief klik je het schuifje aan bij 'A/B testen' bij A/B test:
Nu zie je dat het scherm voor A/B testen uitklapt. Het is nu mogelijk om alles in te vullen voor je A/B test. Je hebt nu dit scherm voor je:
👉 Je hoeft je geen zorgen te maken of je doelgroep groot genoeg is of niet om een A/B test te laten slagen. Dit geeft ons systeem voor je aan:
Zo weet je direct waar je aan toe bent. We adviseren om een doelgroep te nemen die minimaal 400 profielen groot is. Is je doelgroep kleiner? Ook dan zal je A/B test gewoon uitgevoerd worden. Houd er dan alleen rekening mee dat je testresultaten minder representatief zijn.
Stap 3. Uitleg van alle velden in je A/B test
Het scherm wat je voor je ziet, is nu eigenlijk te verdelen in een A variant (bovenin) , de A/B test instellingen (middenstuk) en B variant (daaronder). Hieronder lees je wat alle instellingen betekenen.
De A/B test instellingen
Hier vul jij de volgende velden in:
Testduur in uren. Vul hier in hoe lang jij je nieuwsbrief wilt testen. Aan te geven in hele uren. Een half uur testen kan niet. Zodra de testduur voorbij is, krijgt de resterende doelgroep de winnende nieuwsbrief.
Op welke graadmeters wil jij testen? Vul hier in wáár jij op wilt testen. Je hebt keuze uit Open Ratio, klikfrequentie en afmeldingen. Wanneer je alle drie kiest, gaan we de nieuwsbrieven testen op alle drie de graadmeters en kan je zelf aangeven welke nieuwsbrief uiteindelijk de winnaar wordt.
A variant:
De A variant is de eerste variant die je in het scherm ziet. Hier vul jij de volgende velden in:
Naam van de afzender
E-mail afzender
E-mail onderwerp
Tekst voor pre-header
Tijdschema voor aflevering (voor zowel A als B)
De verzenddatum
Of je ongeopende e-mails opnieuw wilt verzenden
Dit is hetzelfde als het opmaken van een nieuwsbrief.
B variant:
De B variant is de tweede variant die je in het scherm ziet.
Hier vul jij de volgende velden in:
Naam van de afzender
E-mail afzender
E-mail onderwerp
Tekst voor pre-header
Heb jij alles ingevuld? Ga dan nu naar de volgende stap.
Stap 4. De e-mails opmaken
In de volgende stap maak jij je nieuwsbrief op. Bovenin zie je een dropdown menu waar je variant A of variant B in opmaakt:
Maak altijd éérst variant A op. Variant A wordt als het ware live gedupliceerd naar variant B. Zo hoef je je nieuwsbrief niet twee keer te maken. Sla nu variant A op.
❗ Wanneer je variant A hebt opgeslagen en verder gaat in variant B, worden de varianten van elkaar los gekoppeld! Dan worden de wijzigingen niet meer overgenomen wanneer je nog iets wijzigt in variant A.
Ga nu verder met variant B. In variant B maak je enkele wijzigingen waar je op wilt testen.
Heb je je nieuwsbrief ook opgemaakt zoals altijd? In de samenvatting zie je nogmaals dat je een A/B test draait en welke verschillen er precies zijn:
❗ Hou er rekening mee dat bij je A/B test niet al jouw e-mails worden verstuurd.
De A/B test wordt bij grote getallen naar tussen de 300 en 400 profielen gestuurd. Ook wanneer je doelgroep 100.000 profielen bevat. We hebben getest dat je tussen de 300 en 400 profielen nodig hebt om een significante winnaar te bepalen.
A/B test resultaten analyseren
De resultaten van je A/B test zie je live terug. Om de resultaten te bekijken, klik je achter de nieuwsbrief op de drie stipjes en kies je voor "A/B test resultaten". Dit is je dashboard voor je A/B testresultaten:
Aan de linkerkant zie je de kans in percentages voor de winnaar: wordt het variant A of variant B?:
Daaronder heb je variant A en B met de prestaties:
Benieuwd naar de 'reguliere' statistieken die je altijd hebt bij een nieuwsbrief? Klik dan op één van de regels van variant A of variant B. Dan kom je bij de unieke prestaties van de betreffende nieuwsbrief.
❗️ Let op: tijdens het testen toont het reguliere dashboard met statistieken nog niets. Zodra de nieuwsbrief naar de gehele doelgroep is verstuurd, stroomt het reguliere statistieken dashboard vol met data.
En de winnaar is...
Onze software kiest automatisch de winnaar op basis van de vergaarde data. Het hangt volledig van je doelgroep af hoeveel e-mails er uiteindelijk vanuit de winnaar gestuurd worden. Dit hangt ook samen met de testperiode (1 uur of 10 uur maakt verschil).
Vind je de resultaten overtuigend genoeg halverwege de test? Druk dan op 'Maak deze variant de winnaar'. Die variant wint dan en de test wordt afgebroken. De overige e-mails die nog stonden te wachten worden automatisch omgezet naar de winnende variant en verstuurd.
De winnende variant wordt verstuurd wanneer de test voorbij is. Duurt je A/B test 12 uur? Dan wordt de winnende variant na exact deze 12 uur verzonden.
💡Heb jij een A/B test gedraaid waarin de resultaten gelijk aan elkaar zijn? Dan heeft variant A 50% gewonnen en variant B 50% gewonnen. Ons systeem pakt dan een willekeurige winnaar, gezien de statistieken volledig gelijk aan elkaar zijn.
Uiteindelijk vind je al jouw lopende A/B tests weer terug onder e-mails > nieuwsbrieven > A/B-testen:
Is je A/B test afgelopen? Dan staat je A/B test onder 'alle nieuwsbrieven'. Je ziet dat dit een A/B test is geweest, doordat er 'A/B test' in het groen achter staat:
Succes met testen! 🙌