Dérive de concept dans l’apprentissage automatique

Qu’est-ce que la dérive conceptuelle?

La dérive du concept est un effet qui conduit à une dégradation des performances du modèle d’apprentissage automatique au fil des ans. Cette dégradation se produit en raison de la modification du modèle sous-jacent entre le nouvel ensemble de données sur lequel le modèle est testé et l’ensemble de données sur lequel le modèle est formé. Ce changement se produit en raison de la modification du modèle d’achat de produits du client ou de la modification de certains paramètres météorologiques au fil du temps.

Nous serions tous très familiers avec ce concept de fonction de base:

Y= f(X)

Ici, nous avons une fonction f qui comprend le modèle ou la relation entre la variable indépendante X et la variable dépendante Y.

Mais lorsque ce modèle s’estompe, le modèle donne la mauvaise sortie et devient équivalent à des ordures.

C’est là que la dérive du concept entre en vigueur.

Comment le concept est-il lié au cycle de vie de la science des données?

Nous savons tous que le projet de science des données est exécuté en plusieurs phases, non? Cela commence par:

1. Identification des problèmes et de son contexte commercial.
2. Collecte des ensembles de données.
3. Exploration des données et ingénierie des fonctionnalités.
4. Visualisation.
5. Développement et formation de modèles.
6. Test et déploiement de modèles.
7. Recyclage et mise à jour des modèles.

Je suppose que nous connaissons tous très bien les six principaux concepts. Dérive du concept vient dans la dernière étape à savoir, recyclage et mise à jour des modèles. C’est là que le modèle est déployé chez le client et des tests fréquents du modèle ont lieu quotidiennement. Pour éviter la déviation du modèle, sa prédiction est surveillée et vérifiée comme si elle donnait les bonnes prédictions ou non pour maintenir la productivité de l’entreprise.

Pourquoi devons-nous surveiller cet effet?

Nous devons surveiller cet effet, car il peut causer un énorme problème à l’entité commerciale pour laquelle il s’exécute. Des prévisions erronées peuvent conduire une entreprise à perdre sa réputation ainsi que ses clients fidèles, car un modèle pourrait fournir des recommandations erronées qui ne correspondent pas au nouveau modèle d’achat des utilisateurs.

Prenons un exemple de la période de pandémie de Corona où les gens ont subi un changement majeur dans leurs habitudes d’achat. Ils ne répondent à leurs besoins qu’à des choses très nécessaires, dont le modèle n’est pas au courant. Ainsi, il continue de leur recommander des produits qui ne vont pas avec le choix du client. Pour cette raison, une entreprise peut perdre une part importante de ses revenus.

Comment résoudre le problème?

Il existe de nombreuses méthodes pour résoudre ce problème.

1. Ne rien faire (conserver un seul modèle statique).

NON, je ne plaisante pas. Nous pouvons simplement supposer que le modèle sous-jacent dans les données ne change pas avec le temps, ce qui se produit dans de nombreux cas.

Pour cette raison, nous pouvons nous concentrer sur la construction d’un meilleur modèle unique pour faire des prédictions futures.

2. Réajustez périodiquement le modèle.

Cela peut être un peu plus efficace que le premier. En cela, nous recyclons notre modèle obsolète sur le nouvel ensemble de données entrant, expliquant le nouveau modèle sous-jacent dans l’ensemble de données.

Cela évite au modèle de devenir un «déchet» et continue d’apporter des valeurs commerciales.

3. Mettez régulièrement à jour le modèle.

Au lieu de mettre à jour le modèle obsolète sur le nouvel ensemble de données, nous pouvons former et déployer un nouveau modèle de temps en temps lorsque nos tests montrent que le modèle précédent donne de mauvaises prédictions.

Cette méthode est un peu plus efficace car un changement de modèle peut conduire à des prédictions plus précises. Mais la formation en mode, ainsi que le déploiement, prennent beaucoup de temps.

4. Assemblez un nouveau modèle avec l’ancien.

Dans cette méthode, nous pouvons regrouper de nouveaux modèles formés sur le nouvel ensemble de données avec le modèle obsolète. C’est là que le nouveau modèle fonctionne en corrigeant les mauvaises prédictions de l’ancien modèle.

Cette méthode s’avère être un peu complexe mais plus efficace que celle mentionnée ci-dessus.

Conclusion…

Très bien les gars, c’est tout pour aujourd’hui. Je pense que nous devons avoir appris de nouveaux concepts. Cet effet est la plupart du temps ignoré par les nouveaux scientifiques des données qui, après avoir terminé un projet, pensent que leur travail est terminé, mais ce n’est pas le cas. Nos responsabilités ne s’arrêtent pas là. Pour maintenir nos valeurs commerciales, nous devons surveiller comment et quelles valeurs nous ajoutons à l’expérience client et si le fournisseur de recommandations leur fournit ou non de bonnes recommandations.

Pour en savoir plus, visitez ici.

N’hésitez pas à commenter ci-dessous au cas où vous ne seriez pas clair avec des points. Je répondrai dès que possible. Merci de votre coopération.