Comment rester en sécurité lors des tests A/B
Le test A/B est simple.
Il suffit de comparer un témoin à une variante. En marketing numérique (en particulier dans le domaine parfois appelé « optimisation du taux de conversion »), cela signifie généralement qu’il faut répartir le trafic entre deux versions de la même page Web et surveiller leurs performances. Vous pouvez également l’essayer avec des courriels, des applications ou tout autre mode de communication numérique, mais le fait est que c’est simple, très simple.
Enfin, ça l’est, jusqu’à ce que vous y réfléchissiez (ce que je ne vous conseille pas).
Le test A/B peut être un terrier de lapin dont certains ne ressortent jamais (nous appelons ces personnes des statisticiens, ou même, si les choses vont vraiment mal, des data scientists).
Cet article vous donne quelques conseils pour vous aider à naviguer dans les méandres des tests A/B et, peut-être, à en sortir indemne.
Plan
Lors d’un test A/B, le plan est primordial. Une fois que vous avez mis le plan en route, vous devez vous y tenir. Vous pourriez être tenté de vous écarter du plan, d’analyser les résultats trop tôt, ou de modifier l’expérience et de déplacer les objectifs. C’est là que réside la folie.
Comme le plan est tout, il doit être clair. Une hypothèse bien définie est un art et il est impératif de disposer d’une mesure unique et solide sur laquelle repose l’hypothèse. D’une manière générale, il est plus logique pour les spécialistes du marketing d’utiliser le chiffre d’affaires, et si vous ne pouvez pas utiliser le chiffre d’affaires, utilisez ce qui s’en rapproche le plus, comme les inscriptions.
En fonction de la manière dont vous effectuez vos tests, vous devrez également envisager de définir la taille de l’échantillon à l’avance (utilisez cet outil pratique). Vous devez toujours prévoir de ne pas analyser les résultats trop tôt. Et surtout, ne rendez pas les choses plus compliquées qu’elles ne le sont déjà. Établissez un plan, faites-en un bon, et tenez-vous-en à ce plan.
La circulation n’est pas uniforme
La multitude de choses qui peuvent vous faire trébucher lors d’un test A/B est suffisante pour induire un bon degré de paranoïa. Par exemple, vous devez réfléchir au trafic web sur lequel vous effectuez vos tests. D’où vient-il et comment cela peut-il affecter votre test ?
Si votre échantillon est dominé par le trafic d’une annonce PPC, vous obtiendrez des utilisateurs différents, avec des intentions et des comportements différents, que si l’échantillon est dominé par le trafic d’utilisateurs partageant un article spécifique, en particulier si l’annonce et l’article concernent des parties différentes de votre entreprise.
Au cours de votre test, si vous répartissez le trafic de manière aléatoire entre A et B, vous n’aurez peut-être pas à vous inquiéter outre mesure de l’inégalité du trafic. Cependant, n’oubliez pas la raison pour laquelle vous effectuez ce test. Vous voulez savoir quelle variante vous rapportera le plus d’argent dans un avenir immédiat. Si votre trafic dans le futur immédiat est d’une nature très différente de celle du trafic que vous avez testé, alors les données de votre test ne vous diront rien d’utile.
La source de trafic n’est pas la seule chose qui peut différer entre une période de test et la période de mise en œuvre. Pensez à la saisonnalité. Si votre activité est affectée par le changement des saisons, vous devrez tenir compte du fait que les intentions de vos utilisateurs diffèrent dans le temps. Le test A/B que vous avez réalisé à l’approche de Noël ne vous dira peut-être pas grand-chose sur ce qu’il faut faire pendant les vacances d’été, ou vice versa.
Le temps présente également d’autres difficultés. Le comportement des utilisateurs de vos variantes peut être affecté par la simple nouveauté d’un changement. Les utilisateurs habituels peuvent être rebutés par une nouvelle fonctionnalité qui ne leur est pas familière. Toutefois, après un mois environ, ils peuvent s’y habituer et la préférer à son prédécesseur. À l’inverse, les utilisateurs peuvent être naturellement curieux d’une nouvelle fonctionnalité qu’ils remarquent, ce qui donne à la variante un surcroît artificiel de performances qui s’estompera rapidement.
Il y a aussi une autre raison pour laquelle le trafic n’est pas uniforme. Vos utilisateurs ne sont pas tous des humains. L’Internet est envahi par des robots qui parcourent le site (généralement de manière inoffensive) pour le compte des moteurs de recherche, etc. Bien qu’il s’agisse probablement d’une priorité mineure, il y aura des scénarios dans lesquels vous devrez vous inquiéter du fait que les robots faussent les données de votre test A/B.
Mensonges, foutus mensonges
La simplicité des tests A/B peut aussi rapidement laisser place à des concepts statistiques assez avancés. Vous vous retrouverez peut-être tiraillé entre les tests unilatéraux et bilatéraux ou, et tenez-vous bien, entre l’inférence fréquentiste et l’inférence bayésienne.
Vous devrez au moins vous familiariser avec les principes fondamentaux des probabilités. Par exemple, dire que la valeur p est inférieure à 0,05 ne signifie pas que vous êtes sûr à 95 %. Les valeurs P peuvent être compliquées, même pour les professionnels. La valeur p est la probabilité que vous enregistriez des résultats au moins aussi extrêmes que ceux que vous avez enregistrés si A et B étaient en fait identiques.
Vous pourriez obtenir des résultats plus faciles à comprendre et à communiquer en utilisant des tests bayésiens plutôt que fréquentistes. L’approche bayésienne a l’avantage d’éviter les valeurs p. Cependant, vous devrez toujours faire face à la question des valeurs p. Cependant, vous devrez toujours faire face à certains concepts inconfortables, tels que la perte attendue.
Outre le fait que personne ne souhaite parler de « perte attendue » à son patron ou à ses clients, ce concept n’est pas non plus une simple mesure de la probabilité que A soit meilleur que B. La perte attendue est le montant que vous vous attendez à perdre si vous déployez la variante gagnante mais que vous avez eu tort de le faire.
Si tout cela est trop technique, voici quelques mesures pratiques que vous pouvez prendre pour améliorer la rigueur statistique de vos tests A/B :
- Effectuez un test A/A. Dans un test A/A, les deux moitiés de votre test sont identiques, de sorte que vous savez qu’il ne devrait pas être favorable à l’une ou l’autre. Il s’agit d’un moyen simple de vérifier la robustesse de votre cadre de test. Si vous obtenez un résultat dans un test A/A, vous avez probablement un problème.
- Contrôlez les résultats aberrants. Même les tests A/B avec des échantillons de grande taille peuvent être faussés par des données aberrantes. Le client d’entreprise qui effectue une transaction massive ne se présente pas très souvent, et il est probable qu’il ne sera pas réparti de manière égale entre votre contrôle et votre variante. Cela donnera un avantage injuste à l’une des deux variantes, A ou B, et vous devrez vous y adapter dans votre analyse.
Limitez vos hypothèses
L’analyse statistique n’est pas très différente de tout autre processus logique d’évaluation des preuves. Elle prend simplement en charge des méthodes complexes d’évaluation d’un grand nombre de preuves. Vous devez toujours être capable de résumer en anglais simple (ou tout autre langage vernaculaire) ce que vous essayez de découvrir et comment vous essayez de le faire.
Cela signifie que vous devez réfléchir de manière logique et critique à ce que vous faites réellement et la meilleure façon de commencer est de réfléchir à vos hypothèses. Vous devrez faire des hypothèses, mais vous devez être conscient de ce qu’elles sont et pourquoi vous les faites.
Vous devez éviter de faire des hypothèses sur les parcours des utilisateurs. Les spécialistes du marketing sont habitués à la métaphore de l’entonnoir. Si vous augmentez la taille de l’entonnoir en haut, vous devriez constater une augmentation proportionnelle en bas. Cependant, cela n’est pas vrai pour tous les parcours d’utilisateurs.
Les clics effectués au cours des différentes étapes de votre parcours utilisateur (parfois appelés micro-conversions) ne débouchent pas nécessairement sur les conversions qui vous intéressent réellement. Vous pouvez multiplier par 100 votre taux de clics en annonçant « bitcoin gratuit, sans questions ». Cependant, à un moment donné, votre taux de conversion chutera car vous serez obligé d’admettre aux clients que leur prime blockchain était un mensonge.
Une autre hypothèse dangereuse que vous pourriez être tenté de faire est la causalité. Vous connaissez peut-être (surtout si vous avez déjà eu le malheur d’entrer dans une dispute sur les médias sociaux) le sophisme logique connu sous le nom de « confusion entre corrélation et cause ». Ce n’est pas parce que deux choses semblent liées qu’elles le sont (voir ces excellentes corrélations fallacieuses).
Il s’agit d’une hypothèse particulièrement dangereuse dans le cadre des tests A/B. D’une part, le test A/B (lorsqu’il est bien fait) devrait être conçu pour éviter cette erreur. Si la seule différence entre A et B est réellement la variante que vous testez, alors vous devriez pouvoir supposer une certaine relation de cause à effet.
Cependant, après avoir plus ou moins prouvé la causalité une fois, vous ne devriez pas vous laisser emporter et étendre votre certitude au-delà du sujet précis du test. B a peut-être obtenu de meilleurs résultats que A parce que votre variante est meilleure que le témoin, mais vous ne pouvez toujours pas savoir avec certitude pourquoi. Vous ne pouvez pas savoir avec certitude ce qui, dans B, rend vos clients plus susceptibles de se convertir.
Utilisez votre cerveau
Les tests A/B ne sont peut-être pas aussi faciles qu’il y paraît, mais c’est un exercice de logique. Par conséquent, le conseil le plus important pour tout spécialiste du marketing qui s’engage dans les tests A/B est simplement de réfléchir très soigneusement à tout ce que vous choisissez de faire et d’être sceptique quant à tout ce que vous pensez avoir appris.
C’est un véritable champ de mines, et le mieux est de rester simple. Formulez une hypothèse solide sur laquelle vous pouvez justifier votre espoir de voir une forte augmentation. Abordez les données avec scepticisme et étayez votre propre raisonnement. Ne croyez pas les études de cas et surtout ne croyez pas ceux qui vous disent que votre opinion ne compte pas face aux données concrètes.