不良事件检测

使用自然语言处理进行不良事件检测。

问题

我们的客户是一家领先的制药公司，正在开发一种用于社交媒体条目中不良事件 (AE) 检测的 NLP 算法。他们旨在对预定义的命名实体进行分类，以便组织和解决特定患者的担忧和体验。需要分析一万多个社交媒体条目，以改善他们的患者体验和健康，并减少 AE 检测中的假阴性数量。由于该项目的敏感医学性质，我们的总体期望是所有分类和检测的准确率达到 100%。这种人在回路中的方法将可扩展性提高了 10 倍，因为与当前的做法不同，只有在机器学习模型无法提供可靠的分类结果时才需要人工审查。

解决方案

该项目首先从 DataForce 的 100 万人口社区中有效地选择了主题专家。我们从筛选的候选人中逐步建立团队，精心挑选具有药物警戒背景的审稿人。专家监督、盲注过程和特定质量指标（如 Kohen 的 Kappa 系数）的实施相结合，导致质量快速提高。随着注释过程的继续，我们扩大了注释团队以缩短交付周期。我们的团队在几天内审查了数千条社交媒体帖子。

为了保证注释和分类的准确性，我们对每个任务进行了双盲注释，然后进行了全面的质量控制。任何分歧都由审稿人协调，审稿人为每个条目提出了最终分类。

随着更多数据集的进入，我们迅速与团队一起实施反馈，并更新指南以反映社交媒体帖子中的边缘案例和意外体验。我们的内部注释平台 DataForce 无缝更新以适应所有项目更改，并允许我们使用不断改进的可扩展模型来完成数据集。

客户报告说，这种人在环路模型被证明是比传统手动分类更具可扩展性和效率的选择。

shutterstock_1202989183