Veulent-ils un data scientist… ou un yes-man?
J’ai entendu une histoire intéressante d’un de mes amis travaillant dans la science des données. Appelons-le Bob.
Bob a travaillé pour une startup de taille moyenne qui a vendu un produit d’abonnement libre-service avec des prix assez variables, certains clients dépensant 10 fois plus que d’autres. Compte tenu de la croissance de cette partie de l’entreprise, une équipe de réussite client a été formée au sein de l’équipe marketing pour gérer les clients qui dépensent plus.
Un jour, le responsable de la réussite client est venu à Bob avec une demande pour aider à analyser un test AB qui était en cours d’exécution. Le responsable de la réussite client menait une expérience où la moitié des nouveaux clients qui se sont inscrits pour un abonnement supérieur à 100 $ / mois recevraient un appel téléphonique de l’équipe de réussite client, et la moitié d’entre eux ne le feraient pas. C’était un test pour voir à quel point le succès de l’intégration des clients était efficace pour empêcher le désabonnement de la plate-forme.
Bob a analysé l’expérience mais a trouvé quelques problèmes. La première était qu’ils n’avaient pas beaucoup d’inscriptions pour le mois où le test a été exécuté. Il y avait seulement environ 50 clients dans chaque compartiment qui ont acheté de nouveaux abonnements de plus de 100 $ / mois. Dans le groupe de contrôle, huit clients se sont retournés, et pourtant dans le compartiment de test, dans lequel chaque client a reçu un appel téléphonique de la réussite du client, un seul client s’est retourné.
« Wow ressemble à une énorme différence! », S’est exclamé le responsable de la réussite client. Bob a réitéré que c’était un échantillon de petite taille, ils ne pouvaient pas faire d’hypothèses réelles. Mais le responsable de la réussite client a indiqué qu’il était sous la pression de son patron, le directeur du marketing, pour montrer certains résultats que son équipe progressait. Pouvait-il simplement lui dire que leur stratégie allait dans la bonne direction?
Bob a accepté, il était probablement préférable de faire avancer leur équipe. Il ne voulait pas être un adepte de ce qui semblait être une direction prometteuse.
Vendredi, toutes les mains sont arrivées. Toute l’entreprise s’est réunie pour passer en revue les progrès des dernières semaines. Le directeur des recettes présentait de nouveaux chiffres sur les revenus de la semaine où il a fait une pause et a terminé.
«… Et d’énormes gains dans notre division produits. Nos clients de la plus haute valeur ajoutée, grâce aux efforts accrus de nos équipes de marketing et de réussite client, ont désormais réduit le taux de désabonnement mensuel à seulement 2% !! »
Applaudissements à l’échelle de l’entreprise. Tout le monde était étonné. Et Bob était assis, complètement abasourdi sur ce qui s’était réellement passé.
Fou toute personne ayant travaillé en analytique, L’histoire de Bob n’est pas vraiment surprenante. Cela peut être difficile à croire, mais chaque nombre, statistique, métrique, produit par une entreprise peut être complètement et complètement faux. Le seul chiffre qui en est exempté est le chiffre d’affaires, qui fait l’objet d’un audit comptable et financier.
Comment les autres mesures imprègnent-elles toute une organisation avec une telle inexactitude? Dans le cas de Bob, c’était un jeu de téléphone. Où Bob dit quelque chose au succès du client, puis le succès du client dit un peu mieux au directeur du marketing, puis le directeur du marketing mentionne dans leur tête-à-tête avec le CRO «Oh, et vous ne devinerez jamais ce que nous avons fait la semaine dernière… .. ”
Mais souvent, cela affecte également la façon dont la culture des données organisationnelles peut affecter la valeur des scientifiques et des analystes de données. Les entreprises peuvent généralement être basées sur les données de deux manières.
Une façon consiste à utiliser les données pour prendre des décisions sur quelles fonctionnalités construire et quelle direction prendre un produit. La deuxième façon consiste à utiliser les données et les métriques pour valider les opinions existantes par la haute direction. C’est la différence entre une approche descendante et ascendante pour prendre des décisions sur les produits. Et si votre entreprise prend les décisions selon une approche descendante, pourquoi même employer des scientifiques des données?
La prise de décision descendante est logique lorsque vous travaillez pour une startup de moins de 10 personnes où votre PDG prend une décision basée sur la recherche client et l’intuition dans l’espace produit. Lorsqu’une petite startup a besoin de publier quelque chose comme une nouvelle page de destination, les tests AB sont perdus par le temps d’ingénierie disponible. S’il y a un test AB, vous, en tant que data scientist, exécuterez une requête, vous vous dirigerez vers le bureau du PDG et leur direz quels sont les résultats.
Cela ne se produit pas dans une entreprise de plus de 100 personnes. Maintenant, votre PDG ne regarde pas chaque détail. Il y a un directeur avec un MBA Harvard entre vous maintenant et les pages de destination prennent plus de temps qu’un seul ingénieur axé sur la conception à le pirater pendant deux jours consécutifs; il y a maintenant des plans de sprint, des pauses-café, la contribution de l’équipe de conception et des ingénieurs frontaux qui se plaignent du cadre à utiliser.
Et après avoir présenté un manque de signification statistique dans la conversion de plus de clients via la nouvelle page de destination, le directeur pourrait être incrédule et n’achètera pas votre analyse. Le directeur vous propose de l’analyser de manière différente pour donner l’impression que leur équipe n’a pas seulement passer quatre semaines sur quelque chose qui n’augmentera pas les revenus. Et même si vous dites toujours qu’il n’y a pas de changement, ils pourraient tout aussi bien publier la nouvelle page de destination car ce n’est pas comme si la conversion était en baisse?!
Ce type de culture organisationnelle combiné à la politique de bureau peut être le tueur numéro un pour fournir aux scientifiques des données un moyen d’influencer la décision réelle sur le produit, c’est-à-dire faire leur travail! Et plusieurs fois, c’est parce que les informations tirées de l’analyse affecter les autres employés de l’organisation outre le data scientist responsable de l’analyse. Les scientifiques des données sont considérés comme la preuve de facto dans les données, et si une fonctionnalité du produit ne fonctionne pas en raison d’une myriade de facteurs, tous les employés également liés à la fonctionnalité du produit seront affectés par les résultats. Les mauvaises mesures sont donc écrasées comme un dénonciateur dans un état totalitaire. Personne ne veut voir de mauvaises mesures dans un produit, et personne ne veut être porteur de mauvaises nouvelles.
L’importance de la culture axée sur les données est désormais importante étant donné le pouvoir que les scientifiques des données détiennent dans les informations de surface. Il est plus logique de rationaliser un changement de produit avec intuition au lieu de faire une interprétation des nombres pour prouver le succès. Qu’advient-il de la motivation d’une équipe de science des données lorsqu’elle est chargée d’analyser les données vers un résultat infaillible, quel que soit le résultat?
À la fin de la journée, le directeur des revenus de la société Bob s’est rendu compte que les mesures étaient erronées lorsque leur entreprise n’a pas vu une augmentation de 500% de ses revenus le mois suivant. Et Bob lui-même a trouvé curieux que le réalisateur soit également parti tranquillement deux mois plus tard.
Si votre organisation a des problèmes de recrutement avec des scientifiques des données, des analystes de données ou des ingénieurs d’apprentissage automatique, j’aimerais en savoir plus. Sinon, si vous êtes un data scientist intervieweur, consultez notre newsletter de préparation des interviews data science à Requête d’interview.
