Business : Vous ne pouvez pas tester votre chemin vers la grandeur A / B – Jens-Fabian Goetzmann

Le test A / B est un outil génial, mais a de sérieuses limitations

Construire quelque chose de grand et de nouveau nécessite une destruction créatrice, renversant certains aspects du statu quo qui ne sont plus nécessaires ou valides et établissant de nouvelles hypothèses fondamentales. Par exemple, l’iPhone – probablement le produit le plus grand et le plus réussi de tous les temps – a nécessité de remettre en question l’hypothèse selon laquelle un smartphone aurait besoin d’un clavier ou d’un stylet.

Les tests A / B promeuvent une approche diamétralement opposée à cette destruction créatrice. Cela commence par le problème local maximum: si vous testez A / B une nouvelle approche non optimisée par rapport à une version de contrôle optimisée et que la version de contrôle surpasse la nouvelle, il n’y a aucun moyen de savoir si c’est simplement parce que la nouvelle approche n’a pas été encore optimisé. Vous avez gravi une colline (le maximum local) en optimisant l’expérience actuelle, et lorsque vous testez une expérience radicalement différente par rapport à celle-ci, ce que vous aimeriez vraiment savoir, c’est si le potentiel de la nouvelle expérience est plus élevée que la colline sur laquelle vous vous trouvez actuellement – mais il n’y a aucun moyen de le savoir à partir des résultats d’un test A / B.

Pour construire quelque chose de grand, vous devez vous déplacer rapidement. Répondre rapidement aux besoins des clients émergents et évolutifs. Plus rapide que les opérateurs historiques, même s’ils sont gros et riches en ressources. Plus rapide que les autres concurrents potentiels. La vitesse et l’agilité sont la façon dont une startup peut battre même ses concurrents avec les poches les plus profondes.

En général, les tests A / B ne sont pas un excellent outil pour affiner vos hypothèses. Encore une fois, c’est un excellent outil d’optimisation, si l’hypothèse fondamentale globale de votre produit a été validée et que vous souhaitez faire tourner le volant le plus rapidement possible. Cependant, si vous essayez toujours de valider votre direction, vous avez besoin d’informations plus riches que «cette idée n’a pas fonctionné».