Détection des événements indésirables

Utilisation du traitement du langage naturel pour la détection des événements indésirables.

Le problème

Notre client, une société pharmaceutique de premier plan, développe un algorithme NLP pour la détection des événements indésirables (EI) dans les entrées des médias sociaux. Ils visent à catégoriser des entités nommées prédéfinies afin d'organiser et de répondre aux préoccupations et aux expériences spécifiques des patients. Plus de dix mille entrées sur les réseaux sociaux devaient être analysées pour améliorer l'expérience et la santé des patients, ainsi que pour réduire le nombre de faux négatifs dans la détection des EI. En raison de la nature médicale sensible du projet, notre attente globale était d'atteindre une précision de 100 % pour toutes les catégorisations et détections. Cette approche humaine dans la boucle multiplie par 10 l'évolutivité car, contrairement aux pratiques actuelles, l'examen humain n'est requis que lorsque le modèle d'apprentissage automatique ne parvient pas à fournir un résultat de classification fiable.

La solution

Le projet a commencé par une sélection efficace d'experts en la matière issus de la communauté d'un million de personnes de DataForce. Nous avons construit l'équipe progressivement à partir de candidats présélectionnés, en sélectionnant les examinateurs qui avaient une formation en pharmacovigilance. La combinaison d'une supervision experte, d'un processus d'annotation aveugle et de la mise en œuvre de mesures de qualité spécifiques telles que le coefficient Kappa de Kohen a permis d'améliorer rapidement la qualité. Au fur et à mesure que le processus d'annotation se poursuivait, nous avons renforcé l'équipe d'annotation pour raccourcir le cycle de livraison. Notre équipe a examiné des milliers de publications sur les réseaux sociaux en quelques jours.

Pour garantir l'exactitude des annotations et de la catégorisation, nous avons effectué une annotation en double aveugle sur chaque tâche, suivie de contrôles de qualité approfondis. Tous les désaccords ont été conciliés par un examinateur qui a proposé la catégorisation finale pour chaque entrée.

Nous avons rapidement mis en place des commentaires avec l'équipe au fur et à mesure que de nouveaux ensembles de données arrivaient, et mis à jour les directives pour refléter les cas marginaux et les expériences inattendues dans les publications sur les réseaux sociaux. Notre plateforme d'annotation interne, DataForce, a été mise à jour de manière transparente pour s'adapter à toutes les modifications du projet et nous a permis de compléter l'ensemble de données avec un modèle évolutif d'amélioration constante.

Le client a indiqué que ce modèle humain dans la boucle s'est avéré être une option beaucoup plus évolutive et efficace que la catégorisation manuelle traditionnelle.