Wat is de "test-en-leer"-methode?
De naam zegt het al: in plaats van het analyseren, definiëren en implementeren van een definitieve oplossing voor een probleem of een kans, de aanpak is om vooraf één (of meerdere) hypothese(n) te testen en van dit experiment te leren .
Deze methode is erg in de mode, vooral in het internetdomein waar bedrijven zoals Google voortdurend nieuwe ideeën testen om vooruitgang te boeken met hun projecten. "Test and learn" past perfect bij de onzekerheden en complexiteit van digitale media.
Traditionele marketingstudies stuiten op nieuwe toepassingen, omdat het wordt steeds moeilijker om gedrag te voorspellen. Er zijn veel constant op elkaar inwerkende factoren die de reacties van consumenten onmiddellijk kunnen veranderen.
Wat de analyse van historische gegevens betreft, is hun interpretatie vaak delicaat, omdat ze deel uitmaken van de context. Het is moeilijk te voorspellen wat er onder verschillende omstandigheden zou gebeuren.
De "test en leer"-aanpak maakt het mogelijk om geleidelijk een antwoord op een bepaald probleem op te bouwen. Tussen het eerste geteste concept en de uiteindelijke oplossing is vaak heen en weer (iteraties) nodig. Het kan zelfs voorkomen dat naar aanleiding van de testen de doelstellingen of de scope worden herzien. Of zelfs dat het project totaal wordt verlaten.
Hoe deze methode implementeren?
1 - Generatie van hypothesen
De aanpak werkt in de vorm van aannames (voorbeeld: "door de verkoopprijs met 15% te verlagen, verhogen we de volumes met evenveel").
Het doel van de test is om de initiële hypothese(n) te verifiëren.
2 - Uitvoeren van de testen
Deze fase omvat:
- Voorbereiding voor het experiment: met de keuze van de methode, steekproef van variabelen, productie van prototypes, organisatie van de test …
Het is een goede gewoonte om een test uit te voeren op een focusgroep en de resultaten te vergelijken met een tweede controlegroep die niet profiteert van het nieuwe aanbod. Bijvoorbeeld: in het geval van een prijstest om de impact van een korting of een nieuwe prijslijst te verifiëren.
Waar mogelijk moeten groepen worden gevormd door willekeurige trekking. - Rijden in het veld: opzetten, lanceren, besturen.
3 - Analyse van de tests
Deze stap heeft het doel om de initiële hypothesen te beantwoorden na het verzamelen en analyseren van de verzamelde gegevens tijdens het experimenteren.
Alvorens te leiden tot een beslissing om te beginnen of af te zien, zal deze fase waarschijnlijk terugkeren naar het creëren van nieuwe hypothesen. Het is vaak nodig om verschillende tests uit te voeren, waarbij de starthypothesen worden gewijzigd voordat bevredigende conclusies worden getrokken. Dit is het principe van de methode.
4 - Inzet of stopzetting
Operationele fase implementatie of stopzetting van het project als de test niet heeft geleid tot een bevredigend resultaat dat de inzet van een oplossing rechtvaardigt.
Deze tests verrijken het bedrijf met realtime leren. Dit is een zeer belangrijke deugd van het proces. De organisatie wordt efficiënter door: continu verbeteren. We vinden de geest van het Deming-wiel.
Het "testen en leren" in de praktijk
Deze aanpak is niets nieuws. Het is vaak gebruikt en al heel lang. Heeft u nog geen tests uitgevoerd met betrekking tot een product, een dienst, een feature bij een deel van uw klanten of bij een deel van het publiek van uw website?
Experimenteren op een beperkt doelwit voordat de gevalideerde oplossing wordt gegeneraliseerd naar alle klanten (of prospects) is een praktijk die steeds democratischer wordt met digitale technologie.
"Test-and-learn" maakt het inderdaad mogelijk om te profiteren van de specifieke kenmerken van digitale media:
- ultra krachtige analysetools,
- het vermogen om voldoende dichte monsters te bouwen statistische tests toepassen,
- gemak om een nauwkeurig doel te bereiken,
- het verkrijgen van snelle reacties op experimenten,
om innovatieve ontwikkelingsacties en -strategieën te ontwikkelen
In de "echte" wereld heeft deze benadering zijn plaats. Het resulteert in de oprichting van proefwinkels in testmarkten, verkopen in doelgebieden, enz.
Een cultuur en processen om te vernieuwen
Niet alle bedrijven zijn noodzakelijkerwijs klaar om deze afsluiting te implementeren. Het klassieke model van analyse, planning en implementatie is diep geworteld in organisaties . Want ook al is het niet altijd even effectief, deze manier van werken is geruststellend.
De filosofie van "testen en leren" is op het eerste gezicht onzekerder: we bouwen door vooruit te gaan . We weten niet precies waar we uiteindelijk mee zullen eindigen. Deze benadering is daarom meer angstwekkend.
Bovendien is de budgetprocessen , besluit, enz. - eindelijk alles het bedrijfsbeheersysteem traditioneel - is gebaseerd op het klassieke model: we plannen de acties met de te mobiliseren middelen, dan voeren we het plan uit. Wat betreft "testen en leren", het introduceert een dosis wendbaarheid in de processen door vrijheidsgraden tot het laatst mogelijke te handhaven.
Ook is er soms een ingrijpende verandering nodig om 'testen en leren' onderdeel te laten worden van het DNA van organisaties.
Wat te testen?
Alle marketing- en verkoopvariabelen kunnen worden getest: prijs, aanbod (product en diensten), verpakking, communicatie, distributienetwerken, enz.
Bij advertentiecampagnes is de link met de resultaten moeilijk te leggen.
Welke variabelen meten?
Om nauwkeurige feedback van het experiment te verkrijgen, is het noodzakelijk om gedragsgegevens en perceptuele gegevens te verzamelen.
Gedragsgegevens
Dit zijn de waargenomen gedrag : aantal kopers, aantal verkochte producten, aantal bezoeken aan een website, enz. Deze gegevens hebben de eigenschap betrouwbaar te zijn. Als de testomstandigheden perfect worden beheerst, zijn de gedragsgegevens onbetwistbaar. Ze onderstrepen direct de mogelijke voordelen.
Ze hebben echter een tekortkoming: ze beschrijven, maar geven weinig uitleg over gedrag, zelfs als de kruising van dit type variabele tussen hen meer kwalitatieve informatie oplevert (gefaciliteerd door big data door talloze variabelen te manipuleren) .
Gedragsgegevens staan centraal in de experimenten.
Perceptuele gegevens
Deze gegevens verzamelen wat klanten denken : hun gevoel bij een nieuw aanbod, een nieuwe dienst, een nieuwe prijs, hun tevredenheid… Het doel is te begrijpen wat hun gedrag motiveert. Deze maatregelen doen beroep op klassieke marketingstudies, met name kwalitatieve.
Een van de belangen van perceptuele gegevens is om te begrijpen om te anticiperen, of zelfs haar voorstel verfijnen en waarom geen andere tests lanceren.
De "test-en-leer" methoden en tools
Om uw tests uit te rusten, kunt u een beroep doen op A/B-testen. Deze methode is zeer populair en wordt steeds vaker gebruikt en stelt u in staat om verschillende versies van een product, een functie, een dienst te testen en statistisch te observeren welke de beste resultaten biedt.
Let op: andere multivariate testen bieden de mogelijkheid om meerdere variabelen tegelijk te vergelijken.
Zie ook Agile projectmethoden die deel uitmaken van dezelfde filosofie: evalueer dan.
De belangrijkste succesfactoren
Om optimaal van de methode te profiteren, zijn er een paar regels die u moet volgen, waaronder:
- Respecteer het KIS-principe "keep It Simple!" - pas op voor dure en onbruikbare gasfabrieken! Het is beter om het simpel te houden en relevante resultaten te krijgen die gemakkelijk te meten zijn, in plaats van een megatest te starten en te verdwalen in ongecontroleerde variabelen, tonnen gegevens om te analyseren voor een resultaat dat uiteindelijk onbetrouwbaar is …
- Varieer niet te veel parameters tegelijk: data-analyse zou des te minder relevant zijn.
- Adopteer quasi-wetenschappelijke nauwkeurigheid: zoals voor klassieke marketingstudies. De keuze van de observatieomstandigheden is fundamenteel voor de kwaliteit van de conclusies (samenstelling van de groep, de testperiode, enz.).
