כתבה
arXiv cs.CL ·
דטקטינג של ספין בניסויים קליניים בעזרת LLMs
Detecting Spin in Clinical Trials with Large Language Models
מערכת לדטקטינג של ספין בניסויים קליניים עם LLMs. המערכת כוללת פרומפט אינג'יניירינג, סיווג על פי הסבירות של טוקן, והצבעה רובית להחלטה סופית. התוצאות על קבוצת המבחן של 2,496 דגימות עם דיוק של 0.78 ודיוק של 0.90 מעבר לדגמי טקסט דומים, אך נחותים מדגמי BERT שהוטמעו.
תקציר מקורי באנגליתarXiv:2610.11845v1 Announce Type: new Abstract: Spin in clinical trials includes reporting practices that distort the presentation of results. This is particularly critical in medicine, where spin is present in more than 50% of randomized controlled trials that fail to reach statistical significance. The comparison of primary and reported outcomes is crucial for detecting several types of spin, including outcome switching. We used 300 pairs of outcomes labeled with semantic similarity to develop a system for automatic detection of outcome switching. We evaluated baseline text similarity models and open-source LLMs using generated similarity scores and the Youden index to determine the classification threshold. The proposed approach involves prompt engineering, classification based on token
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית