Business : Lancement dans l’incertitude – 6 étapes intelligentes pour pérenniser vos modèles ML

Tous les cas d’utilisation ne seront pas affectés par la pandémie, comme tous les modèles ne souffriront pas de ddérive ata ou concept.

La première étape de toute évaluation de logiciel est la même que la première étape de tout développement logiciel: posez des questions.

Posez un tas de questions.

Si vous avez de nombreux cas d’utilisation en cours et que vous ne savez pas à quoi vous attaquer en premier, posez-les d’abord:

❓ Suis-je en train de modéliser le comportement humain? (c’est-à-dire les articles achetés à Pâques, l’acompte sur les prêts immobiliers)

IdAi-je des hypothèses inhérentes sur les politiques du gouvernement ou de l’entreprise qui ont changé pendant la crise (c’est-à-dire les interdictions de voyager, les vacances de paiement de la banque)

Une fois que vous avez identifié les cas d’utilisation, identifiez ensuite les parties prenantes concernées par ces cas d’utilisation. Les intervenants sont souvent des experts en la matière dans le domaine, ils peuvent donc être en mesure de vous aider à l’étape 2 ci-dessous.

Dessinez un arbre de décision pour vous-même.

Si votre système a touché un humain ou une stratégie, passez à l’étape 2.

Sinon, continuez.

Cette pandémie est un cas classique d’événement de cygne noir. Il s’agit d’une épidémie virale rare et inattendue aux conséquences graves.

Il y a donc de fortes chances que les choses tournent mal, mais à quel point?

Les choses vont mal tourner, mais à quel point?

Analyse du scénario peut nous aider à naviguer dans ces conditions extrêmes.

S’adresser aux PME (experts en la matière) de l’entreprise est extrêmement précieux à cette étape. Ils ont souvent de nombreuses questions auxquelles ils souhaitent obtenir des réponses, et les scientifiques des données analysent les données pour générer des packs d’informations sur ces questions. C’est le moment où ces questions peuvent vous aider à interroger vos modèles.

Par exemple,

« Qu’arrive-t-il à notre résultat net si les ventes immobilières sont décimées? »

Eh bien, c’est le moment de le tester. Si vous modélisez les revenus générés par les prêts immobiliers, examinez les données lorsque les ventes de prêts immobiliers sont faibles (mois d’hiver dans une ville de vacances d’été). À partir de là, ajustez-le avec les suggestions de la PME et générez un faux ensemble de données d’entrée et exécutez-le dans votre modèle. Cela peut vous aider à évaluer les zones où le modèle est à risque.

Donner un nombre quantitatif peut aider les entreprises à prendre des décisions difficiles. Même si nous pensons que nous ne disposons pas de suffisamment d’informations pour fournir une prédiction, des décisions doivent encore être prises. Les prêts doivent encore être accordés et les papiers hygiéniques doivent toujours être expédiés. Au lieu de pousser les responsabilités plus loin le long de la chaîne, nous devons nous concentrer sur le mieux que nous pouvons.

Donnez une prédiction avec tous les astérisques qui y sont attachés.

Si l’impact est important, passez à l’étape 3 pour un examen approfondi.

Sinon, continuez.

Les solutions d’apprentissage automatique sont plus que le modèle lui-même. Il y a le pipeline d’ingénierie des données, l’inférence et le recyclage des modèles. Il est important d’analyser la solution entière de bout en bout pour trouver les vulnérabilités.

La solution d’apprentissage automatique est plus qu’un simple modèle

Voici quelques domaines que vous pouvez consulter:

⏩ Une quantité en vrac brisera-t-elle votre pipeline? Certains algorithmes prédictifs des fournisseurs ont été cassé par un changement soudain de la quantité de commande. En revanche, certains systèmes de détection des fraudes ont été submergés de faux positifs.

⏩ La charge de base de votre infrastructure a-t-elle changé? Certains modèles sont moins pertinents et certains sont encore plus importants, le déplacement de vos ressources informatiques peut même réduire le coût.

⏩ Enquêter sur importance des fonctionnalités mondiales et locales de votre modèle. Vos principales fonctionnalités sont-elles sensibles à la pandémie? Devraient-ils l’être? Il existe de nombreux articles sur IA explicable, et au temps de l’inconnu, l’explicabilité de l’inférence pourrait donner la transparence dont les gens ont besoin.

Définissez des contrôles sur l’ensemble de votre pipeline.

Au moment où vous avez atteint l’étape 3, vous avez déjà déterminé que votre solution est affectée par la crise. Passez donc à l’étape 4.

Il n’y aura plus de progrès à partir de ce moment, seulement un progrès.

Si vous lisez cet article, vous n’avez probablement pas de système de surveillance en place. Sinon, vous mettriez en place 500 billets Jira et serez au top de vos prochaines étapes.

Déployer un modèle d’apprentissage automatique, c’est comme piloter un avion

Et imaginez que vous êtes un pilote:

☑️: Ne pas enregistrer, c’est comme voler sans Blackbox. Tout terroriste peut détourner l’avion sans aucune conséquence.

🖥️: Ne pas avoir de surveillance, c’est comme voler aveugle dans un nouvel espace aérien. Le pilote ne sait pas où il va et vous non plus.

🌪️️: Ne pas avoir d’infrastructure résiliente, c’est comme voler avec un moteur non entretenu. Le billet est bon marché mais l’avion pourrait descendre à tout moment.

Vous ne monterez pas à bord d’un avion avec un pilote aveugle et un moteur cassé, pourquoi déploieriez-vous un modèle sans journalisation, surveillance et infrastructure résiliente?