Gérer les violations de politique sur les plateformes – AI In Plain English

Il existe différents modèles ML (machine learning) intégrés sur les plateformes. En ce qui concerne l’évaluation des types de violation de stratégie, la prédiction de la gravité peut nous fournir, en tant qu’ingénieurs de développement, une mesure de la gravité au niveau du travail (et du risque lors de l’examen de l’audience et du seuil de risque).

Certains ingénieurs de développement pourraient préférer examiner les «fonctionnalités de contenu», par exemple caractéristiques de la publication ou de l’image, pour prédire la gravité et notre approche examine les fonctionnalités de «rapport / révision», à savoir les types de violation de rapport (par exemple, la façon dont les utilisateurs signalant le contenu ont catégorisé la violation) et l’historique de révision suivant (files d’attente et types de violation de révision) pour prédire la gravité. Ce faisant, ils pourraient s’attendre à de meilleures précisions dans leurs prévisions de gravité (la comparaison des prévisions de gravité des deux modèles est en cours). Cependant, comme cela sera montré dans cette note, malgré sa simplicité, les types de violation de rapport et les files d’attente de travaux peuvent prédire une gravité élevée avec une très grande précision.

Si vous deviez demander à un modèle ML de prédire la gravité de chaque travail dans le backlog uniquement en fonction de son signaler le type de violation (par exemple, quels utilisateurs ont signalé la violation possible) et queue du travail, sa prédiction a un «haut»précision« , sens:

• Cas 1: S’il vous indique que ce travail aura une gravité élevée supérieure à 20, vous pouvez être sûr à 100% qu’il est correct.

Cela a un coût. Une telle approche ne permettra pas de retrouver tous les emplois qui étaient effectivement très sévères: dans le premier cas, elle n’en trouvera que 5%, dans le second cas 10% et dans le troisième cas 35% eux (rappel). Pourtant, pour certaines files d’attente et zones problématiques (par exemple le terrorisme, la suppression des électeurs et la fraude, etc.), le modèle est également en mesure de trouver la plupart des emplois qui étaient en fait très graves (a un rappel).

Ces conclusions peuvent jouer un rôle important pour les développeurs de plates-formes, en partie parce qu’elles leur disent quelque chose de très simple: les rapports des utilisateurs et l’historique des révisions des travaux de plate-forme sont de puissants éléments d’information si les développeurs veulent prédire si un travail viole et si la violation sera très grave. Cela peut avoir deux implications pour les développeurs de plateformes:

• Automatisation: Étant donné que les développeurs peuvent prévoir des niveaux de gravité élevés avec une grande précision, cela signifie qu’ils n’ont en fait pas besoin de revoir ces travaux et peuvent les automatiser (non seulement les travaux de fermeture automatique que nous considérons comme non violés, mais également les travaux de fermeture automatique et la suppression du contenu que nous sont certainement une violation très grave). Cela leur permettra de ne pas perdre de temps à laisser un contenu sévère pour lui permettre de recueillir des vues et de devenir viral avant que les critiques ne puissent le réviser. Ils ne seront pas en mesure d’automatiser tout en raison des limites du rappel (par conséquent, la valeur soutenue que nos évaluateurs humains fournissent), mais pour le segment des emplois pour lesquels ils prédisent des niveaux de gravité élevés, ils peuvent certainement tirer parti de la prédiction pour automatisation.

Chaque fois que nous sélectionnons des données de travail afin de former notre modèle de prédiction de gravité, nous prenons d’abord un échantillon aléatoire des données et l’enregistrons en tant que jeu de données de test. Nous n’utilisons pas les données de test pour former le modèle. Nous avons maintenant enfin la possibilité de tirer parti de ces ensembles de données de test (qui contiennent des informations sur le résultat de l’examen réel et le poids de gravité réel des travaux) pour calculer la précision et le rappel de notre prédiction. Afin de calculer la précision et le rappel, nous devons d’abord définir ce que nous entendons par un vrai positif (tp), une faux positif (fp), une faux négatif (fn) et un vrai négatif (tn).

Comme nous visons à prédire une sévérité élevée, nous définissons les quantités ci-dessus comme:

1. tp: Un vrai positif est lorsque le poids de gravité réel et notre poids de gravité prévu tombent au-dessus d’un seuil.

La précision, le rappel et la précision sont alors définis comme:

Définitions de précision, rappel et exactitude

Le seuil est essentiellement le poids de gravité au-dessus duquel nous considérons que les choses sont très sévères dans notre calcul. Il y a une subjectivité dans le choix de ce seuil, par conséquent, nous calculons les précisions et les rappels sur une plage de seuils dans un cahier Python. Cela donne le tracé de rappel de précision ci-dessous.

Dans cet exemple, nous pouvons voir que pour des niveaux de gravité élevés supérieurs à 20, notre précision est de 100%, ce qui signifie que si nous prédisons qu’un travail aura une gravité élevée supérieure à 20, nous pouvons être sûrs à 100% que notre prédiction est correcte.

• Pour les niveaux de gravité élevés supérieurs à 14 (par exemple, toutes les catégories ci-dessus + terrorisme, promotion du suicide, traite des êtres humains, etc.), notre précision est de 90%, ce qui signifie que si nous prédisons qu’un emploi aura une gravité élevée supérieure à 14, nous pouvons être de 90% sûr que notre prédiction est correcte.

Nous choisissons le seuil de gravité de 7,5 pour calculer la précision / le rappel ventilé par file d’attente et par zone à problème (exemples de requêtes comme requête 1, requête 2). Comme on peut le voir dans les résultats de ces requêtes, pour certaines files d’attente et zones problématiques, nous constatons des précisions élevées et un rappel de la prédiction de gravité.

Dans ces exemples de requêtes, n_jobs fait référence au nombre de travaux de test utilisés pour le calcul de précision / rappel.

Notez que le type de violation de rapport ne doit pas être confondu avec le niveau de gravité prévu (et son type d’examen correspondant).

Un modèle simple n’est pas un mauvais modèle. Nous démontrons qu’en dépit de sa simplicité, la simple utilisation de report_violation_types et de files d’attente pour prédire une gravité élevée peut donner des précisions élevées (et dans certaines files d’attente et zones problématiques, des rappels élevés).

La haute précision dans ce cas est importante dans le sens, nous ne voulons pas prédire qu’un travail sera très sévère tant qu’il est bénin. Notre haute précision nous protège contre cette possibilité. Cependant, les rappels plus faibles signifient que nous n’attrapons pas autant d’emplois graves que nous pourrions l’être.

Pour le sous-ensemble de tâches pour lesquelles nous prévoyons une gravité élevée (car la précision est élevée), nous pouvons plaider pour l’automatisation dans le sens de supprimer le contenu dès qu’il est signalé et canalisé vers une file d’attente. En ce sens, il y a une mise en garde à l’argument en ce sens, si nous l’avons déjà envoyé dans une file d’attente pour examen, comment pouvons-nous le fermer automatiquement sans examen? Dans ce cas, et afin d’y remédier, nous devons rechercher quel algorithme décide à quelle file d’attente envoyer le travail, et sur la base de cet algorithme et du type de violation de rapport, prendre une décision et éviter la nécessité d’un examen ultérieur. Ceci, comme notre analyse l’a montré, n’est possible que pour des prédictions de gravité très élevées car les précisions sont très élevées pour celles-ci.

Par conséquent, le message à retenir de cette note sera:

Un futur classificateur hybride, qui, dans la mesure du possible, peut combiner l’historique des rapports / révisions avec les fonctionnalités de contenu pour proposer une prédiction de gravité encore plus robuste.

Donc, la prochaine fois, lorsque vous devrez faire face à des violations de règles sur votre plate-forme, n’oubliez pas d’utiliser le pouvoir de la précision / du rappel. Que ces beaux algorithmes de ML survivent longtemps!