Inzicht in welke omzet jij laat liggen met een Magento A/B test

Onlangs kwam de vraag naar voren of ik iets meer kon vertellen over een A/B test. Hoe zetten we dit op? Met welke module doen we dat? Wat heb je er voor nodig? Gelukkig maken we voor onze klanten steeds vaker A/B testen. Een mooie methode om jouw optimalisaties goed tegen elkaar aan te houden. Maak inzichtelijk welke omzet jij laat liggen!

Nog even kort

Bij een A/B test onderzoek je bijvoorbeeld een variatie tussen een designwijziging of functionaliteit. Er wordt bekeken welke van de 2 variaties de meest efficiënte is, of de beste conversie heeft. We delen binnen zo’n onderzoek de gebruiker op in twee kampen. Kamp A en kamp B, waarbij elke gebruiker een eigen versie te zien krijgt. Dit gebeurd op basis van Cookies.

Voordelen

• Meten = weten
• Conversie gericht
• Optimaliseren van de shop
• Data-driven

Data verzamelen

Om goede conclusies te trekken, moeten we niet na 3 gebruikersbezoeken al bepalen wat beter of slechter werkt. Je zal vaak de term significante data horen. Eigenlijk wil dat zeggen dat we net zo veel data verzamelen totdat er daadwerkelijk conclusies te trekken zijn en niet op toeval zal berusten.

Hypothese

Optimaliseren die je niet alleen met een A/B test. Optimaliseren begint eerst met het doornemen van je eigen data en eventuele “best practices” toepassen, voordat een A/B vervolgens wordt ingesteld. We beginnen een A/B test altijd met de vraag wat je zou willen testen. Waar ben je benieuwd naar en wat wordt jouw vraag voor de test. Dit wordt namelijk jouw aanname of hypothese. Een voorbeeldhypothese: “Door de gehele site zijn alle belangrijke knoppen en prijsoverzichten gelijk. Binnen de winkelwagen en de check-out is dit anders. Wanneer de gebruiker in de winkelwagen sneller zicht heeft op het prijsoverzicht zal deze sneller de goede richting opgaan. Het twijfelmoment is kleiner, wanneer er herkenning is. Hierdoor zal de gebruiker sneller converteren.”

Wat wil je weten

Hierboven hebben we het meteen over de conversie van een aanpassing. Wat doet deze aanpassing met de conversie? Natuurlijk zijn er nog meer punten die je kan meten binnen een A/B test. Denk bijvoorbeeld aan een Click-trough rate, Download of een Pageview. Houdt altijd in het achterhoofd dat de A/B-test learnings er zijn om een betere dialoog te voeren met de eindgebruiker. We willen deze “metrics” helder hebben. Ook maak je een keuze of de wijziging alleen op mobiel is, of juist op mobiel, tablet en desktop. Dit stellen we ook in tijdens een A/B test. Om weer even in herhaling te vallen, je wilt wel significante data hebben om de wijziging door te voeren.

De module

Veel kleine optimalisaties kunnen bijvoorbeeld prima met de tool Google Optimize. Ook is er een module van bijvoorbeeld Amasty beschikbaar. Wij zetten altijd een door Cream ontwikkelde A/B test module in. Hierbij kunnen we meerdere A/B testen instellen en aanzetten.  Binnen de test kan je ook nog instellingen maken hoe veel % van de bezoekers een variatie zal zien. Wat de module doet is een grid toevoegen in de Magento installatie. Hier kunnen we de verschillende tests invullen. Deze koppelen we aan Google Analytics om ze te gaan volgen en te meten. Met onze module wordt er voor elke test bijgehouden wat de resultaten betekenen. Uiteindelijk wordt hier een rapport van opgesteld waar je kan zien of een uitkomst significant is of niet. Zo maak jij inzichtelijk welke juiste optimalisaties je hebt doorgevoerd.

No brainers?

Er is vaak discussie of je juist alles gaat testen of niet. Moet je alles testen? Bestaan er geen no-brainers? De leesrichtingen zijn vaak bekend. Er zijn genoeg UX op- en aanmerkingen dat er bijvoorbeeld bij een actie een knop verwacht wordt. Er zijn, naar mijn mening, inderdaad no brainers die je gelijk kan doorvoeren, al is uiteraard alles afhankelijk van context. Het oudste voorbeeld is dat de groene knop beter converteert dan de rode knop. Maar stel dat je een volledig groene site hebt, is dat dan nog steeds zo? Wat op de ene shop goed werkt, hoeft op de andere shop niet te werken. Alles is afhankelijk van context. Kleine wijzigingen die zich bij andere shops al hebben bewezen als “low hanging fruit” is best een kleine test waardig. Test langer en goed met de grote functionele wijzigingen.

Aanbeveling

Na een volledige test doen wij, als e-commerce partner, een aanbeveling gebaseerd op de data uit de A/B test. Dit wordt ondersteund door een rapport met alle data.

Interesse?

Wil je weten welke omzet jij laat liggen? Ben je geïnteresseerd om ook een test uit te laten voeren? Neem gerust contact op.