A/B testing et tests multivariés : plus de tests, moins d’embrouille !

Un des grands problème dans mon métier actuel, c’est de pouvoir tester différents scénarios de merchandising  « toutes choses égales par ailleurs ». On est souvent tenté de comparer un avant – après. Problème, les conditions sont rarement les mêmes : disponibilité produit qui change, prix qui changent, sources de trafic différents (envoi d’un email, achat d’espaces publicitaires qui pointent sur la famille de produit testée qui génère une forte hausse du trafic mais une baisse du taux de conversion par un trafic moins bien qualifié)… Le risque est d’arriver à des conclusions hâtives, subjectives et dans le pire des cas, fausses.

Comment être certain de prendre la bonne décision à la fin d’un test afin de maximiser la conversion et le retour sur investissement (ROI) ?

Jacques Séguela prône le moins de tests, plus de testiculespour maximiser la créativité ! Mais est-ce que la créativité fait vendre sur le web ? Bah… J’sais pas. Faut tester comme dirait mon patron !!!

Dans le domaine du e-commerce, il faut profiter de la flexibilité et la possibilité de mesurer efficacement les performances.

On fait souvent évoluer les sites e-commerce en fonction du marché et des avancées technologiques (ajax, flex, …). Mais comment tester l’efficacité commerciale des évolutions ? La meilleure solution, c’est d’effectuer des tests A/B ou multivariés (A+B / A+C / …). Le process idéal est de tester l’ancienne version (A) simultanément à la (aux) nouvelle(s) (B / C / D…). Il ne faut pas tout casser sans cesse sans mesure car quand on constate les dégâts, il est souvent trop tard ! Il existe bien les tests utilisateurs et l’eye tracking mais rien ne vaut la vérité des CHIFFRES ! Avec l’A/B testing, fini les embrouilles et les approximations subjectives du type « je pense que se serait mieux avec cette version là… ».

On a donc un pré requis indispensable = bénéficier d’un outil de mesure et de tracking puissant pour récolter les informations.

L’objectif de l’A/B testing et tests multivariés est très simple : prendre la bonne décision en fonction des résultats attendus (KPI) pour faire évoluer un élément du site dans le but d’améliorer sa conversion.

Exemples de but à atteindre :

• augmenter le taux d’inscription à la newsletter
• augmenter le taux de mise au panier
• augmenter le taux de commande
• augmenter le taux de création de nouveaux comptes
• augmenter le taux de clic sur un lien publicitaire
• …

Concrètement, voici quelques exemples de tests à réaliser, parfois simples et parfois plus délicats à mettre en œuvre :

• différentes versions et positions d’un bouton d’action (mise au panier, validation de commande, inscription …)
• différentes versions d’emails, de homepage, de landing pages, de fiches produits
• différentes stratégies de merchandising produit en page liste
• l’affichage ou non des avis et notations des internautes pour tester l’impact d’une bonne ou d’une mauvaise note
• l’affichage ou non d’un formulaire de saisie d’un code de réduction dans le panier (pas de frustration si on a pas de code)
• l’affichage ou non d’une publicité (points de fuite), d’une vidéo de démonstration d’un produit
• différentes stratégies de produits associés (manuels ou automatisés)
• différentes versions d’un formulaire de création de compte (1 ou plusieurs étapes)
• calcul de l’élasticité prix (réduction de -50% contre une réduction de -30%)
• …

On le voit bien = le champs d’action est très large voire infini et n’aura de limite que votre sens commercial. Mais par où commencer ? Quelles sont les priorités ?

Le risque quand on se lance dans l’A/B testing ou les tests multivariés, c’est le syndrome Jacquouille dans le film « Les visiteurs » qui découvre avec bonheur l’interrupteur de la lumière : JOUR ! NUIT ! Il faut identifier les tests qui vont maximiser la conversion et le retour sur investissement (ROI) du test. Pour cela, il faut identifier avec précision pour chaque test les indicateurs de performances (marge, rebond immédiat sur la page, taux de conversion, chiffre d’affaires), les résultats attendus et le coût du test.

Si un test nécessite le changement de structure d’une page et la charge de développement de 100 jours homme, il faudra en attendre des gains importants. S’il s’agit de modifier un bouton d’action qui maximise la mise au panier d’un produit, il ne faudra que quelques heures à un ergonome pour créer les différentes versions. Le retour sur investissement sera meilleur.

Quels sont les délais pour mettre fin à un test et en connaître les résultats ?

Tout dépendra du trafic et des combinaisons à tester pour vérifier dans le temps quelle est la meilleure solution. Plus la période sera longue, plus il y aura de données et plus les écarts-types de chaque option seront réduits. Plus il y a d’hypothèses à tester simultanément, plus le test sera long.

Mais le temps, c’est de l’argent. Attendre trop longtemps le déploiement de la meilleure solution fait perdre de l’argent. Il faudra de nouveau avoir un peu plus de testicule 🙂

Voici quelques acteurs du marché dont les coûts sont assez variés :

• Google Website Optimizer
• Offermatica (test & target OMNITURE)
• Holistis
• Amadesa
• Optimost

Pour finir, voici quelques limites et contraintes afin de réaliser les tests dans de bonnes conditions :

• soyez méthodique => 1 tour de contrôle doit maîtrise l’ensemble des tests et le planning pour éviter les tests A-B-C-D- … – Z où chacun y va de son propre test.Il faut éviter de se retrouver dans le cas où tellement d’éléments ont bougés qu’on y comprend plus rien.
• réalisez les tests au bon moment (éviter le 1er jour des soldes)
• définissez précisément le périmètre du test et les indicateurs de mesure
• testez des périmètres similaires
• mémorisez les tests effectués pour éviter de les refaire 3 mois plus tard
• anticipez les coûts et les impacts humains
• sachez mettre fin au bon moment à un test
• soyez créatif pour vos tests
• ne cherchez pas LA solution parfaite du 1er coup mais améliorez sans cesse

En résumé, plus de tests, c’est moins d’embrouille ! (J’ai hésité avec « on s’en met plein les fouilles », mais ça fait pas très pro :0)

A lire également :

• http://www.blog-conversion.com/category/ab-testing/
• http://innovablog.com/outils/a-b-split-testing-methodologie-optimisation-site-web/
• http://www.grokdotcom.com/abtesting.htm
• http://www.blog-conversion.com/ab-testing/testez-testez-testez-compte-rendu-dun-podcast-au-sommet/