👨‍👧‍👦 🚑 😟 Excellent guide de test A / B 🅿️ ⛏️ 🛌🏻

Il y a une tonne d'informations sur Internet sur les tests A / B, mais beaucoup le font encore incorrectement. Il est vraiment facile de se tromper, de telles études nécessitent donc une préparation préalable sérieuse. Cet article décrit les principaux aspects des tests A / B qui doivent être pris en compte pour une analyse efficace des pages Web.

Qu'est-ce que le test A / B?

Les tests A / B (tests fractionnés) divisent le trafic dans un rapport de 50/50 entre les différentes versions de la page. En substance, cette méthode est un nouveau nom pour une ancienne technique connue sous le nom d '«expérience contrôlée».

Pour tester l'efficacité de nouveaux médicaments, les experts effectuent des tests fractionnés. En fait, la plupart des expériences de recherche peuvent être appelées tests A / B. Ils comprennent l'hypothèse, le principal objet d'étude, sa variation et le résultat, présentés sous forme de données statistiques.

C'est tout. Un exemple est un test A / B simple, dans lequel le trafic 50/50 est divisé entre la page principale et sa variation:

Dans le cas de l'optimisation de la conversion, la principale différence est la variabilité du trafic Internet. Les variables externes sont plus faciles à contrôler en laboratoire. Sur Internet, vous pouvez réduire leur impact, mais créer un test entièrement contrôlé est beaucoup plus difficile.
De plus, tester de nouveaux médicaments nécessite un certain degré de précision. La vie des gens est en jeu. D'un point de vue technique, cela signifie que les tests peuvent durer plus longtemps, car les chercheurs devraient faire tout leur possible pour éviter le premier type d'erreur (faux positif).

Cependant, des tests A / B des ressources Web sont effectués pour atteindre les objectifs commerciaux. Il est nécessaire pour l'analyse des risques et des récompenses, l'exploration et le développement, la science et les affaires. Par conséquent, les résultats sont considérés d'un point de vue différent et les décisions sont prises différemment de celles des chercheurs en laboratoire.

Bien sûr, vous pouvez créer plus de deux variantes de page. Une étude comportant plusieurs éléments est appelée test A / B / n. S'il y a suffisamment de trafic, vous pouvez tester autant d'options que vous le souhaitez. Voici un exemple de test A / B / C / D montrant le trafic alloué pour chaque variation:

Le test A / B / n est idéal pour implémenter plusieurs variantes afin de tester une hypothèse. Cependant, cela nécessitera plus de trafic car il devra être divisé en plusieurs pages.

Malgré sa popularité, les tests A / B ne sont qu'un type de recherche en ligne. Vous pouvez également effectuer des tests à plusieurs variables ou utiliser la méthode des bandits à plusieurs bras.

Tests A / B, tests multivariés et méthode des bandits à plusieurs bras: quelle est la différence?
Le test A / B / n est une expérience contrôlée qui compare les taux de conversion de la page d'origine et ses une ou plusieurs variations.

Des tests multivariés sont effectués sur plusieurs versions de la page afin de déterminer quels attributs sont les plus importants. Comme pour les tests A / B / n, l'original est comparé aux variations. Cependant, chaque conception utilise des éléments de conception différents. Par exemple:

Chaque élément a un cas d'utilisation spécifique et affecte les performances de la page. Vous pouvez tirer le meilleur parti du site des manières suivantes:

Effectuez des tests A / B pour déterminer les meilleures options de mise en page.
Effectuez des tests à plusieurs variables pour améliorer les mises en page et vous assurer que tous les éléments de la page interagissent bien entre eux.

Vous devrez attirer un grand nombre d'utilisateurs sur la page testée avant même d'envisager la possibilité de tests multivariés. Cependant, il y a suffisamment de trafic, les deux types de recherche doivent être utilisés pour optimiser le site.
La plupart des agences préfèrent les tests A / B, car leurs clients testent généralement les changements importants (affectant potentiellement davantage la page). De plus, ils sont plus faciles à réaliser.

La méthode des bandits à plusieurs bras est A / B / n - des tests qui sont mis à jour en temps réel en fonction de l'efficacité de chaque variation.

En fait, l'algorithme de bandit multi-bras commence par l'envoi de trafic vers deux (ou plus) pages: l'original et sa (ses) version (s). Il est ensuite mis à jour en fonction de la variante la plus efficace. En fin de compte, l'algorithme détermine la meilleure option possible: l'

un des avantages de la méthode des bandits à plusieurs bras est qu'elle atténue la perte de conversion que vous rencontrez lors du test du scénario potentiellement le plus défavorable. Ce tableau de Google explique tout bien:

la méthode du bandit multi-bras et les tests A / B / n ont tous deux des avantages. Le premier est idéal pour:

Rubriques et campagnes de courte durée;
Mise à l'échelle automatique;
Ciblage
Optimisation et attribution simultanées.

Quel que soit le type de test que vous utilisez, il est important d’essayer d’augmenter vos chances de réussite. En d'autres termes, plus vous testez souvent, plus la conversion augmentera rapidement.

Comment améliorer les résultats des tests A / B

Ne faites pas attention aux articles comme "99 choses qui peuvent être testées à l'aide de tests A / B". C'est une perte de temps et de trafic. Seul le processus lui-même vous aidera à augmenter vos revenus.

Environ 74% des optimiseurs ayant une approche structurée de la conversion signalent également une amélioration des ventes. Le reste arrive, ce que l'analyste Web Craig Sullivan appelle le «creux de la déception». (À moins que leurs résultats ne soient gâchés par des faux positifs, dont nous discuterons plus tard.)

Pour une efficacité maximale, la structure de test devrait ressembler à ceci:

Étude;
Priorisation;
Expérimentation;
Analyse, formation, répétition.

Étude

Pour optimiser votre site, vous devez comprendre ce que font vos utilisateurs et pourquoi.
Cependant, avant de penser aux tests, renforcez votre stratégie d'attirer des utilisateurs et tirez parti de celle-ci. Vous devez donc:

Définissez les objectifs de votre entreprise.
Définissez les objectifs de votre site Web.
Identifiez vos principaux indicateurs de performance;
Définissez vos mesures cibles.

Une fois que vous comprenez ce que vous voulez réaliser, vous pouvez commencer à collecter les données nécessaires. Pour cela, nous vous recommandons d'utiliser le Framework ResearchXL.
Voici une courte liste des processus utilisés par CXL:

Analyse heuristique;
Analyse technique;
Analyse des données des systèmes d'analyse Web;
Analyse des mouvements de souris;
Sondages de qualité;
Test utilisateur.

L'analyse heuristique est l'une des meilleures pratiques de test A / B. Même avec de nombreuses années d'expérience, il est difficile de comprendre quels éléments de la page augmentent son efficacité. Cependant, des domaines d'opportunité peuvent être identifiés. Le spécialiste UX Craig Sullivan croit:

«D'après mon expérience, ces modèles simplifient le travail, mais ne sont pas des vérités courantes. Ils me dirigent et m'informent, mais ne donnent aucune garantie. »

Ne vous fiez pas aux modèles. Il est également utile d'avoir un cadre. Lors d'une analyse heuristique, il convient d'évaluer chaque page en fonction des critères suivants:

Pertinence;
Clarté;
Valeur;
Friction;
Abstraction.

L'analyse technique est souvent négligée. Cependant, des erreurs (le cas échéant) tuent la conversion. Il peut vous sembler que votre site fonctionne bien en termes d'expérience utilisateur et de fonctionnalité. Mais cela fonctionne-t-il aussi bien avec tous les navigateurs et appareils? Probablement pas.

L'analyse technique est très efficace et ne demande pas beaucoup de travail. Par conséquent, vous devez:

Effectuer des tests multi-navigateurs et multi-plateformes.
Analysez la vitesse du site.

Vient ensuite l'analyse des données des systèmes d'analyse Web. Tout d'abord, assurez-vous que tout fonctionne. Vous serez surpris du nombre de paramètres du système d'analyse Web mal définis.

L'analyse des mouvements de la souris comprend des cartes thermiques, des cartes de défilement, des analyses de forme et des répétitions de session utilisateur. Ne vous laissez pas emporter par la visualisation colorée des cartes de clic. Assurez-vous que l'analyse vous aide à obtenir les informations dont vous avez besoin pour atteindre vos objectifs.
La recherche qualitative vous permet de comprendre les causes des problèmes. Beaucoup de gens pensent que c'est plus simple que quantitatif. En fait, la recherche qualitative doit être aussi précise que pour fournir des informations tout aussi utiles.

Pour ce faire, il est nécessaire d'effectuer:

Enquêtes sur le site;
Enquêtes auprès des clients;
Entrevues avec les clients et les groupes de discussion.

Enfin, les tests utilisateurs peuvent être utilisés. L'idée est simple: regardez comment de vraies personnes utilisent votre site Web et interagissent avec lui tout en commentant leurs actions. Faites attention à ce dont ils parlent et à ce qu'ils vivent.

Après une étude de conversion approfondie, vous aurez beaucoup de données. L'étape suivante consiste à hiérarchiser les tests.

Comment hiérarchiser les hypothèses dans les tests A / B

Il existe de nombreux cadres pour hiérarchiser vos tests A / B. De plus, vous pouvez le faire en fonction de vos propres méthodes. Craig Sullivan priorise comme suit:

À la fin des six étapes décrites ci-dessus, vous trouverez des problèmes - graves et mineurs. Répartissez chaque trouvaille dans l'une des cinq catégories suivantes:

Test: Tout ce qui doit être testé sera envoyé dans cette catégorie.
Outils: cette catégorie comprend la correction, l'ajout ou l'amélioration du traitement des balises / événements dans l'analyse.
Hypothèse: cette catégorie définit les pages, widgets ou processus qui ne fonctionnent pas très bien et nécessitent une gestion des erreurs.
Faites-le. Utilisez cette catégorie pour les tâches qui doivent être effectuées.
Étude: Si une tâche entre dans cette catégorie, vous devrez creuser un peu plus pour la résoudre.

Évaluez chaque problème de 1 à 5 étoiles (1 = mineur, 5 = critique). Lors de l'évaluation, les deux critères suivants sont les plus importants:

Facilité de mise en œuvre (temps / complexité / risque). Parfois, les données vous indiquent de créer une fonction qui prend des mois à développer. Ne commencez pas à travailler avec elle.
Opportunité. Évaluez les questions de manière subjective en fonction de la taille d'un ascenseur ou d'un changement qu'elles peuvent provoquer.

Créez une feuille de calcul avec toutes vos données. Vous obtiendrez un schéma de test divisé avec les priorités définies.

Nous avons créé notre propre modèle de priorisation pour rendre l'ensemble du processus aussi objectif que possible. Cela implique la saisie obligatoire des données dans le tableau. Le modèle s'appelle PXL et ressemble à ceci:

Téléchargez une copie de ce modèle de feuille de calcul ici. Cliquez simplement sur Fichier> Créer une copie pour obtenir tout ce dont vous avez besoin.

Au lieu de prédire l'efficacité d'un changement, le cadre vous pose une série de questions à ce sujet:

Y a-t-il un changement significatif? Une mise à jour majeure remarquera plus de personnes. Par conséquent, la modification aura un impact plus important sur la page.
Est-il possible de remarquer un changement en 5 secondes? Montrez la page au groupe de personnes, puis ses variantes. Vont-ils remarquer les différences en 5 secondes? Sinon, il est peu probable que le changement ait un impact majeur.
La modification ajoute-t-elle ou supprime-t-elle quelque chose? Des changements majeurs, tels que la réduction des distractions ou l'ajout d'informations clés, affectent généralement considérablement la page.
Le test fonctionne-t-il sur les pages à fort trafic? Améliorer une page avec beaucoup de trafic donne un gros retour.

De nombreuses variables de test potentielles nécessitent des données pour hiérarchiser vos hypothèses. Des discussions hebdomadaires qui posent les quatre questions suivantes vous aideront à hiérarchiser les tests en fonction des données plutôt que des opinions:

Le problème détecté lors des tests utilisateur sera-t-il résolu?
Les problèmes découverts grâce à une rétroaction de qualité (sondages, sondages, entretiens) sont-ils résolus?
L'hypothèse est-elle appuyée par le suivi de la souris, les cartes thermiques ou le suivi des yeux?
Les problèmes découverts grâce à l'analyse numérique sont-ils résolus?

Évaluation PXL

Nous utilisons une échelle binaire: vous devez choisir une note parmi deux. Ainsi, pour la plupart des variables (sauf indication contraire), vous choisissez 0 ou 1.
Cependant, nous voulons également trier les variables par importance. Pour ce faire, nous décrivons spécifiquement les éléments de la page qui changent.

Personnalisation

Nous avons créé ce modèle, estimant que vous pouvez et devez configurer des variables en fonction des objectifs de votre entreprise.

Par exemple, si vous travaillez avec une équipe de marque ou l'expérience utilisateur et que les hypothèses doivent être cohérentes avec les recommandations de la marque, ajoutez-les en tant que variable.
Vous travaillez peut-être dans une startup dont le moteur de vente est optimisé par le référencement. Peut-être que votre financement dépend du flux de clients. Ajoutez une catégorie telle que «Le référencement n'interfère pas» pour modifier certains titres ou textes.

Toutes les organisations fonctionnent différemment. La mise en place du modèle permettra de prendre en compte toutes les nuances et de créer le programme optimal pour optimiser le site.

Quel que soit le cadre que vous utilisez, expliquez-le clairement à tous les membres de l'équipe ainsi qu'aux actionnaires de l'entreprise.

Combien de temps prennent les tests A / B?

Première règle: n'arrêtez pas le test simplement parce qu'il devient statistiquement significatif. Il s'agit probablement de l'erreur la plus courante commise par les optimiseurs débutants.

Si vous arrêtez le test trop tôt, vous constaterez que la plupart des changements n'entraînent pas d'augmentation de revenu (ce qui est l'objectif principal).
Faites attention à ces statistiques obtenues après 1000 tests A / A (elles ont été réalisées pour deux pages identiques):

771 expériences sur 1000 ont atteint une signification de 90%.
531 expériences sur 1000 ont atteint une signification de 95%.

L'arrêt prématuré des tests augmente le risque de faux positifs.
Déterminez la taille de l'échantillon et effectuez des tests pendant plusieurs semaines au moins deux cycles de travail d'affilée.

Comment déterminer la taille de l'échantillon? Il existe de nombreux excellents outils. Voici comment vous pouvez calculer la taille de l'échantillon à l'aide de l'outil Evan Miller:

Dans cet exemple, nous avons indiqué que le taux de conversion est de 3% et nous voulons augmenter ce taux d'au moins 10%. Cet outil indique que 51 486 personnes doivent visiter chaque variation avant de pouvoir examiner les niveaux de signification statistique.

En plus du niveau de signification, il y a la force statistique. La puissance statistique essaie d'éviter les erreurs de type II (faux négatifs). En d'autres termes, cela augmente la probabilité que vous trouviez l'élément de page le plus efficace.

N'oubliez pas que 80% de la puissance est la norme pour les outils de test A / B. Pour atteindre ce niveau, vous aurez besoin soit d'une grande taille d'échantillon, soit d'un effet grandiose, soit d'un test plus long.

Il n'y a pas de nombres magiques

De nombreux articles répertorient les nombres magiques (tels que «100 conversions» ou «1 000 visiteurs») comme le meilleur moment pour arrêter les tests. Cependant, les mathématiques n'ont rien à voir avec la magie. En fait, tout est plus compliqué que l'heuristique simplifiée comme ces chiffres. Voici ce qu'Andrew Anderson de Malwarebytes dit:

"Votre objectif n'est pas un certain nombre de conversions. Vous devez vous efforcer de collecter suffisamment de données pour tester une hypothèse basée sur des échantillons représentatifs et un comportement représentatif.

Une centaine de conversions ne sont possibles que dans les cas les plus rares et avec une différence de comportement incroyablement élevée, mais uniquement si d'autres exigences sont remplies - telles que le comportement temporel, la cohérence et la distribution normale. Dans le même temps, le risque d'erreur de premier type reste très élevé. »

Vous avez donc besoin d'un échantillon représentatif. Comment l'obtenir? Effectuer des tests pendant deux cycles économiques, ce qui aidera à réduire l'influence de facteurs externes tels que:

\ Jour de la semaine. Le trafic quotidien peut varier considérablement en fonction du jour de la semaine.
\ Sources de trafic. À moins qu'il ne soit nécessaire de personnaliser l'expérience pour une source particulière.
\ Planifiez l' envoi de newsletters et de billets de blog.
\ Retour des visiteurs. Les gens peuvent visiter votre site, penser à un achat, puis revenir 10 jours plus tard pour le faire.
Événements externes. Par exemple, la paie en milieu de mois peut affecter votre achat.

Soyez prudent avec de petits échantillons. Il existe de nombreuses études de cas sur Internet remplies d'erreurs mathématiques.

Dès que vous avez tout configuré, ne regardez pas (et ne laissez pas le patron jeter un œil) aux résultats du test tant qu'il n'est pas terminé. Sinon, vous pouvez tirer des conclusions prématurées en «détectant une tendance».

Régression pour signifier

Vous remarquerez souvent que les résultats varient considérablement au cours des premiers jours du test. Par la suite, ils convergeront vers la valeur moyenne, puisque le test se poursuit pendant plusieurs semaines. Voici un exemple de statistiques de site e-commerce:

Les premiers jours: le bleu (option numéro 3) gagne par une marge. La variation rapporte 16 $ par visiteur contre les 12,50 $ que la page d'origine apporte. Beaucoup (par erreur) termineraient les tests à ce stade.
Après 7 jours: la version bleue de la page gagne toujours et la différence relative est assez grande.
Après 14 jours: la version orange (n ° 4) arrive en tête!
Après 21 jours: la version orange gagne toujours!
Fin des tests: il n'y a pas de différence entre les options.

Si vous avez terminé le test avant la quatrième semaine, vous auriez tiré une mauvaise conclusion.

Il y a un problème similaire: l'effet de la nouveauté. La nouveauté de vos modifications (par exemple, le gros bouton bleu) attire davantage l'attention sur l'option de page. Au fil du temps, cet effet disparaît, car le changement cessera progressivement d'être pertinent.

Puis-je exécuter plusieurs tests A / B en même temps?

Vous souhaitez accélérer votre programme de test et exécuter plus de tests. Cependant, est-il possible d'exécuter plusieurs tests A / B à la fois? Cela augmentera-t-il votre potentiel de croissance ou déformera-t-il les données?

Certains experts soutiennent que la réalisation de plusieurs tests à la fois est une erreur. Certains disent que tout est en ordre. Dans la plupart des cas, vous n'aurez aucun problème lors de plusieurs tests simultanés.

Si vous ne testez pas des choses vraiment importantes (par exemple, quelque chose qui affecte votre modèle d'entreprise et l'avenir de l'entreprise), les avantages du volume de test l'emporteront probablement sur les failles de vos données et les faux positifs aléatoires.
S'il existe un risque élevé d'interaction entre plusieurs tests, réduisez le nombre de tests simultanés et / ou laissez les tests s'exécuter plus longtemps pour améliorer la précision.

Comment configurer les tests A / B

Après avoir compilé une liste d'idées de test avec des priorités hiérarchisées, il est nécessaire de formuler une hypothèse et de mener une expérience. Par hypothèse, vous déterminez pour quelle raison le problème survient. De plus, une bonne hypothèse:

Vérifiable. Il est mesurable, il peut donc être vérifié.
Résout le problème de conversion. Les tests fractionnés résolvent les problèmes de conversion.
Fournit un aperçu du marché. Avec une hypothèse clairement articulée, les résultats de votre test fractionné vous fourniront toujours de précieuses informations client.

Craig Sullivan propose l'algorithme suivant pour simplifier le processus d'hypothèse:

Depuis que nous avons reçu (données / feedback),
Nous nous attendons à ce que (le changement) cause (l'effet).
Nous le mesurerons en utilisant (métrique de données).

Il existe une version avancée de cet algorithme:

Depuis que nous avons reçu (données qualitatives et quantitatives),
Nous nous attendons à ce que (changement) pour (population) cause (effet [s]).
Nous nous attendons à voir (changement dans les mesures de données) pour la période (X cycles économiques).

Problèmes techniques

La partie la plus amusante des tests est arrivée: vous pouvez enfin choisir un outil pour cela.

Beaucoup commencent ce problème en premier, mais c'est loin d'être la chose la plus importante. La stratégie et les statistiques sont beaucoup plus importantes.

Cependant, vous devez connaître plusieurs fonctionnalités des outils. Ils se répartissent en deux catégories principales: les outils côté serveur ou côté client.

Les outils serveur affichent le code au niveau du serveur. Ils envoient une version aléatoire de la page au spectateur sans modification du navigateur du visiteur. Les outils côté client envoient la même page, mais JavaScript dans le navigateur client contrôle l'apparence de la page d'origine et sa variante.

Les outils de test côté client incluent Optimizely, VWO et Adobe Target. Conductrics vous permet d'utiliser les deux méthodes et SiteSpect utilise des procurations.
Qu'est-ce que tout cela signifie pour vous? Si vous voulez gagner du temps, que votre équipe est petite ou que vous n'avez pas de ressources pour le développement, les outils côté client vous aideront à démarrer plus rapidement. Les outils côté serveur nécessitent des ressources de développement, mais ils sont généralement plus fiables.

Bien que la configuration du test soit légèrement différente en fonction de l'outil que vous utilisez, souvent l'ensemble du processus est très simple et tout le monde peut le gérer - suivez simplement les instructions.

De plus, vous devez vous fixer des objectifs. Votre outil de test suivra quand chaque option de page transforme les visiteurs en clients.

Lors de la configuration des tests A / B, les compétences suivantes sont utiles: HTML, CSS et JavaScript / JQuery, ainsi que la possibilité de créer des textes et de concevoir de nouvelles variantes de page. Certains outils vous permettent d'utiliser un éditeur visuel, mais cela limite votre flexibilité et votre contrôle.

Comment analyser les résultats des tests A / B?

Donc, vous avez finalement fait la recherche, configuré correctement le test et l'avez effectué. Passons maintenant à l'analyse. Ce n'est pas si simple - il ne suffit pas de regarder le graphique à partir de votre outil de test.

Une chose que vous devez toujours faire: analyser vos résultats de test dans Google Analytics. Ainsi, vous augmentez non seulement vos capacités d'analyse, mais vous gagnez également en confiance dans vos données et la prise de décision.

Votre outil de test peut ne pas écrire correctement les données. À moins d'avoir une autre source d'information, vous ne pouvez jamais être sûr de lui faire confiance. Créez plusieurs sources de données.

Que se passe-t-il s'il n'y a pas de différence entre les variations? Prends ton temps. Tout d'abord, reconnaissez deux choses:

Votre hypothèse est peut-être vraie, mais la mise en œuvre s'est avérée incorrecte.
Supposons que votre recherche qualitative indique un problème de sécurité. Combien de fois pouvez-vous améliorer votre perception de la sécurité? Quantité illimitée.
Utilisez le test itératif si vous voulez tester quelque chose et comparez plusieurs itérations.
Même en l'absence d'une différence tangible en général, la variation peut dépasser la page d'origine à certains égards.

Si vous constatez une augmentation de l'efficacité parmi les visiteurs réguliers et mobiles, mais pas pour les nouveaux visiteurs et les utilisateurs de bureau, ces segments peuvent s'annuler, donnant l'impression qu'il n'y a pas de différence. Analysez votre test sur des segments clés pour explorer cette opportunité.

Segmentation des données pour les tests A / B

La segmentation est la clé pour capitaliser sur les résultats des tests A / B. Malgré le fait que B puisse perdre A dans les résultats globaux, la variation peut vaincre la page d'origine dans certains segments (trafic organique, clics Facebook, trafic mobile, etc.).

Il existe un grand nombre de segments que vous pouvez analyser, notamment les suivants:

Type de navigateur;
Type de source;
Ordinateur ou appareil mobile ou de bureau;
Visiteurs enregistrés et déconnectés;
Campagnes PPC / SEM
Régions géographiques (ville, état / province, pays);
Visiteurs nouveaux et réguliers;
Nouveaux clients et clients réguliers;
Utilisateurs avancés contre les visiteurs occasionnels;
Hommes contre femmes
Tranche d'âge;
Leads nouveaux et déjà présentés;
Types de plans ou niveaux de programme de fidélité;
Abonnés actuels, potentiels et anciens;
Rôles (si, par exemple, votre site propose les rôles d'acheteur et de vendeur).

En dernier recours (à condition que vous ayez une taille d'échantillon adéquate), faites attention à ces facteurs:

La popularité des versions de bureau et mobiles;
Nouveaux clients contre rapatriés;
Perte de trafic.

Assurez-vous que la taille de l'échantillon est suffisante dans le segment. Calculez-le à l'avance et faites attention si ce segment a moins de 250-350 conversions par variation.
Si vos actions ont donné de bons résultats pour un segment particulier, vous pouvez passer à une approche individuelle de ces utilisateurs.

Comment archiver les tests A / B effectués

Les tests A / B sont principalement nécessaires pour collecter des informations. Des tests statistiquement corrects effectués conformément aux instructions aideront à atteindre les principaux objectifs de croissance et d'optimisation.

Les entreprises intelligentes archivent les résultats des tests et améliorent constamment leurs approches de test. Une approche structurée de l'optimisation donne une plus grande croissance et est moins souvent limitée par les contraintes locales.

La partie la plus difficile est la suivante: il n'y a pas de meilleur moyen de structurer la gestion des connaissances. Certaines entreprises utilisent des outils intégrés sophistiqués; certains utilisent des outils tiers; et certains viennent avec Excel et Trello.
Voici trois outils spécialement conçus pour optimiser votre conversion:

Iridion;
Expériences efficaces;
Projets de hackers de croissance.

Statistiques obtenues grâce aux tests A / B

La connaissance des statistiques est utile pour analyser les résultats d'un test A / B. Nous en avons examiné certains dans la section ci-dessus, mais ce n'est pas tout.

Il y a trois concepts que vous devez connaître avant d'apprendre les détails des statistiques obtenues grâce aux tests A / B:

Signifier. Nous ne mesurons pas tous les taux de conversion, mais uniquement l'échantillon. La moyenne n'est qu'un représentant de l'ensemble.
Dispersion. Une mesure de la dispersion des valeurs d'une variable aléatoire par rapport à son attente mathématique. Cela affecte les résultats des tests et la façon dont nous les utilisons.
Sélection. Nous ne pouvons pas mesurer le véritable taux de conversion, donc un échantillon représentatif est choisi.

Qu'est-ce qu'une valeur P?

Beaucoup de gens utilisent le terme «signification statistique» de manière incorrecte. En soi, ce n'est pas un signal pour arrêter les tests. Alors qu'est-ce que c'est et pourquoi est-ce si important?
Pour commencer, regardons les valeurs P, que peu de gens comprennent également. Même les scientifiques eux-mêmes s'y trompent parfois!

La valeur P est une valeur caractérisant la probabilité d'erreur lorsque l'hypothèse nulle est rejetée (erreurs du premier type). Cela ne prouve pas que la probabilité B est supérieure à A. Il s'agit d'une idée fausse courante.

Pour résumer, nous pouvons dire que la signification statistique (ou un résultat statistiquement significatif) est atteinte lorsque la valeur P est inférieure au niveau de signification statistique (qui est généralement fixé à 0,05).

Tests A / B unilatéraux et bilatéraux

Un test unidirectionnel vous permet de détecter un changement dans une direction, tandis qu'un test bidirectionnel vous permet de détecter un changement dans deux directions (positives et négatives).

Ne vous inquiétez pas si votre logiciel de test ne prend en charge qu'un seul des types de tests A / B. Si nécessaire, un test unidirectionnel est facilement converti en test bidirectionnel et vice versa (cependant, cela doit être fait avant le test). La seule différence est le seuil de signification.

Si votre logiciel utilise un test unidirectionnel, divisez simplement la valeur P utilisée en deux. Pour vous assurer que votre test bidirectionnel est fiable à au moins 95%, définissez le niveau de confiance à 97,5%. Si vous souhaitez atteindre une fiabilité de 99%, vous devez sélectionner une valeur de 99,5%.

Le taux de conversion n'est pas seulement X%. Il est indiqué approximativement sous cette forme: X% (± Y). Le deuxième nombre de cette formule est l'intervalle de confiance, et il est extrêmement important pour comprendre les résultats du test de fractionnement.

Les intervalles de confiance sont utilisés dans les tests A / B pour minimiser le risque d'erreurs d'échantillonnage. En ce sens, nous gérons le risque associé à l'introduction d'une nouvelle version de la page.

Par conséquent, si votre outil affiche quelque chose comme: «Nous sommes sûrs à 95% que le taux de conversion est X% ± Y%», alors vous devez considérer ± Y% comme la marge d'erreur.

La fiabilité des résultats dépend en grande partie de l'ampleur de l'erreur. Si les deux plages de conversion se chevauchent, vous devez poursuivre les tests pour obtenir un résultat qui ressemble davantage à la vérité.

Menaces contre la validité externe

Les tests fractionnés sont compliqués par le fait que les données ne sont pas statiques.

Une série chronologique ne peut être qualifiée de stationnaire que si ses propriétés statistiques (valeur moyenne, variance, autocorrélation, etc.) sont constantes dans le temps. Pour de nombreuses raisons, les données du site Web ne sont pas stationnaires. Par conséquent, nous ne pouvons pas faire les mêmes hypothèses que pour les données stationnaires. Voici quelques facteurs qui peuvent modifier les données:

Saison;
Jour de la semaine;
Vacances;
Références positives ou négatives dans la presse;
Autres campagnes de marketing;
PPC / SEM;
SEO
Bouche à oreille.

Ce ne sont là que quelques-uns des facteurs à considérer lors de l'analyse des résultats des tests A / B.

Statistiques bayésiennes et de fréquence

De nombreux outils populaires vous permettent d'utiliser à la fois les approches bayésienne et fréquentielle pour les tests A / B. Quelle est la différence?

En termes simples, une hypothèse se voit attribuer une probabilité dans les statistiques bayésiennes, et dans les statistiques de fréquence, elle est vérifiée sans affecter de probabilité.

Chaque approche a ses avantages. Cependant, si vous commencez tout juste à comprendre les bases des tests A / B, vous devez être le dernier à vous soucier du choix d'une méthodologie.

Conclusion

Les tests A / B sont une réserve inestimable d'informations pour tous ceux qui prennent des décisions dans un environnement en ligne. Avec un peu de connaissances et beaucoup d'efforts, vous pouvez réduire les nombreux risques auxquels sont confrontés la plupart des optimiseurs débutants.

En approfondissant le sujet, vous pouvez devancer 90% des personnes impliquées dans l'analyse Web. L'expérience et la pratique constante vous permettront de maîtriser parfaitement cette méthode de recherche. Alors commencez les tests!

Excellent guide de test A / B