Technologie

Cohen’s Kappa – Vers la science des données

Cohen’s Kappa - Vers la science des données


Évaluer le Kappa de Cohen

La valeur de kappa peut être comprise entre 0 et 1. Un score de 0 signifie qu'il existe un accord aléatoire entre les évaluateurs, tandis qu'un score de 1 signifie qu'il existe un accord complet entre les évaluateurs. Cependant, un score inférieur à 0 signifie qu'il y a moins d'accord que de hasard. Ci-dessous, je vais vous montrer la formule pour résoudre ce problème, mais il est important que vous vous familiarisiez avec figure 4 d'avoir une bonne compréhension.

La raison pour laquelle j'ai mis en évidence deux grilles deviendra claire dans un instant, mais pour l'instant, permettez-moi de décomposer chaque grille.

UNE => Le nombre total d'instances que les deux évaluateurs ont déclaré correctes. Les évaluateurs sont d'accord.

B => Le nombre total d'instances que Rater 1 a dit étaient incorrectes, mais Rater 2 a dit étaient correctes. C'est un désaccord.

C => Le nombre total d'instances que Rater 2 a dit étaient incorrectes, mais Rater 1 a dit étaient correctes. C'est aussi un désaccord.

=> Le nombre total d'instances que les deux évaluateurs ont déclaré incorrectes. Les évaluateurs sont d'accord.

Afin de déterminer la valeur kappa, nous devons d'abord connaître la probabilité d'accord (cela explique pourquoi j'ai mis en évidence la diagonale d'accord). Cette formule est dérivée en ajoutant le nombre de tests dans lesquels les évaluateurs sont d'accord, puis en le divisant par le nombre total de tests. En utilisant l'exemple de figure 4, cela signifierait (A + D) / (A + B + C + D).

Parfait! L'étape suivante consiste à déterminer la probabilité d'un accord aléatoire. En utilisant figure 4 à titre indicatif, la valeur attendue est le nombre total de fois que l'évaluateur 1 a dit correct divisé par le nombre total d'instances, multiplié par le nombre total de fois que l'évaluateur 2 a dit correct divisé par le nombre total d'instances, ajouté au total nombre de fois que l'évaluateur 1 a dit incorrect multiplié par le nombre total de fois que l'évaluateur 2 a dit incorrect. C'est beaucoup d'informations à prendre là-bas, donc dans la figure 6, j'ai formulé cette équation en utilisant la grille ci-dessus.

Enfin, la formule du Kappa de Cohen est la probabilité d'accord enlève la probabilité d'accord aléatoire divisée par 1 moins la probabilité d'accord aléatoire.

Génial! Vous pouvez maintenant distinguer la fiabilité de la validité, expliquer le kappa de Cohen et l'évaluer. Cette statistique est très utile, bien que puisque j'ai compris comment elle fonctionne, je pense maintenant qu'elle peut être sous-utilisée lors de l'optimisation des algorithmes à une métrique spécifique. De plus, le kappa de Cohen fait également du bon travail pour mesurer les problèmes de classes multiples et de classes déséquilibrées.

P.S. S'il y a quelque chose que vous voulez que je traite de la science des données, vous pouvez m'envoyer un message sur Twitter @KurtisPykes ou laissez une réponse à ce message.

Afficher plus

SupportIvy

SupportIvy.com : Un lieu pour partager le savoir et mieux comprendre le monde. Meilleure plate-forme de support gratuit pour vous, Documentation &Tutoriels par les experts.

Articles similaires

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Bouton retour en haut de la page
Fermer