L’A/B testing consiste Ă comparer plusieurs versions d’une image, d'un texte, d'un libellĂ© de bouton afin de vĂ©rifier laquelle est la plus performante. Ces variations sont prĂ©sentĂ©es de manières linĂ©aires ou alĂ©atoires aux utilisateurs de votre chatbot.Â
Une analyse statistique en temps réel permet de consulter l’efficacité des différentes versions en fonction du taux de clic sur des actions (boutons). En d’autres termes, vous pouvez vérifier quelle version déclenche le plus de clics, d’abonnements, d’achats, etc… Les résultats permettent alors de déterminer la meilleure stratégie à adopter.
Exemple d'affichage des statistiques A/B Testing :
Dans cet exemple on constate que :Â
le menu a été affiché 10 fois dans votre chatbot
les boutons ont été cliqués 6 fois (donc dans 60% des cas)
le bouton "Choix 1" a été cliqué dans 10% des cas
le bouton "Choix 2" a lui été cliqué dans 50% des cas
Nous pouvons donc en déduire très facilement que le bouton "Choix 2" a de bien meilleures performances que le premier bouton, il mériterait d'être plus en avant ou le premier bouton mériterait un nouvel intitulé plus "accrocheur".
Quels éléments utiliser en A/B testing ?
Les textes
Les images
et surtout les libellés des boutons et quick replies (réponses rapide) car ceux sont eux qui permettent de mesurer le taux d'action.
Cependant l’A/B testing de Botnation permet de tester un nombre bien plus important de combinaisons, pour cela il faut coupler les statistiques AB Testing aux rotations.
Les rotations vous permettent d'ajouter plusieurs éléments de même type (texte, image, vidéo, etc.) en alternance. Botnation choisira en fonction du type de la rotation (linéaire, aléatoire ou optimisée automatiquement) un des éléments à envoyer l'utilisateur de votre chatbot.
Exemple de statistiques d'une rotation linéaire sur 2 versions d'un menu  :
On constate dans cet exemple que :
Botnation affichera 1 fois sur 2 de façon linéaire chaque version de ce menu
Que la premiere version génère toujours 60% d'actions (clics) sur les boutons
Que la seconde version génère elle par contre 75% d'actions !
Que le libellé "Par ici" du premier bouton de la second version génère également 50 d'actions
Nous pouvons donc en conclure qu'une 3ème version intégrant le libellé "Par ici" sur le premier bouton et le libellé "Choix 2" sur le second bouton serait éventuellement génératrice de bien plus d'actions.
Et effectivement cela se confirme cette 3ème version du menu génère à présent 88% d'actions sur les boutons grace à une optimisation liée aux statistiques A/B Testing en temps réel de Botnation et la possibilité de mettre plusieurs éléments en rotation.
Profitez Ă©galement du Machine Learning sur vos tests A/B
Le Machine Learning de Botnation affiche automatiquement l'élément le plus performant en fonction de son puissant algorithme d'apprentissage afin de maximiser les actions de vos boutons.
L'Optimizer AI affichera en priorité la version déclenchant le plus de clics, d’abonnements, d’achats, etc… L'Optimizer détermine en temps réel la meilleure stratégie à adopter au lieu de sélectionner un élément au hasard.
Il vous suffit pour cela d'activer l'option "Optimisée" en rotation de vous éléments.
RĂ©initialisez le A/B testing
Une fois vos mesures enregistrées, vous aurez peut-être besoin de les réinitialiser. Par exemple, si vous modifiez totalement votre chatbot après les premiers retours, les anciens résultats ne sont plus forcément pertinents.
Dans ce cas, rendez-vous dans Paramètres puis Paramètres avancés, en bas à droite, le bloc "Réinitialisation de l'AB testing" vous permet de remettre les compteurs à zéro. Pour cela, cliquez sur "Supprimer définitivement les données d'AB Testing".
⚠️ Attention, cela est irréversible !
Nous vous souhaitons de bonnes optimisations de votre chatbot sur Botnation !Â
En savoir plus :