有害事象の検出

有害事象検出のための自然言語処理の使用。

問題

クライアントである大手製薬会社は、ソーシャルメディアエントリの有害事象 (AE) を検出するための NLP アルゴリズムを開発しています。それらは、特定の患者の懸念や経験を整理して対処するために、事前定義された名前付きエンティティを分類することを目的としています。患者の経験と健康を改善し、AE 検出における偽陰性の数を減らすために、1 万を超えるソーシャルメディアエントリを分析する必要がありました。プロジェクトの機密性の高い医学的性質により、私たちの全体的な期待は、すべての分類と検出で 100% の精度に達することでした。このヒューマン・イン・ザ・ループのアプローチにより、スケーラビリティが 10 倍向上します。これは、現在の慣行とは異なり、機械学習モデルが信頼できる分類結果を提供できない場合にのみ人間によるレビューが必要になるためです。

ソリューション

このプロジェクトは、DataForce の 100 万人のコミュニティから対象分野の専門家を効率的に選択することから始まりました。私たちは、ファーマコビジランスのバックグラウンドを持つレビュー担当者を厳選して、スクリーニングされた候補者から徐々にチームを構築しました。専門家の監督、ブラインドアノテーションプロセス、コーヘンのカッパ係数などの特定の品質指標の実装を組み合わせることで、迅速な品質改善が実現しました。アノテーションプロセスが続くにつれて、アノテーションチームを拡大して配信サイクルを短縮しました。私たちのチームは、数日で何千ものソーシャルメディアの投稿を確認しました。

アノテーションと分類の正確性を保証するために、各タスクで二重盲検アノテーションを実行し、その後、徹底した品質管理を行いました。意見の不一致は、各エントリの最終的な分類を考え出したレビュアーによって調整されました。

より多くのデータセットが入ってきたので、チームにフィードバックを迅速に実装し、ソーシャルメディア投稿内のエッジケースと予期しない経験を反映するようにガイドラインを更新しました.社内の注釈プラットフォームである DataForce は、すべてのプロジェクトの変更に適応するようにシームレスに更新され、絶え間ない改善のスケーラブルなモデルでデータセットを完成させることができました。

クライアントは、このヒューマンインザループモデルが、従来の手動分類よりもはるかにスケーラブルで効率的なオプションであることが証明されたと報告しました。