כתבה
arXiv cs.CL ·
ArGuard: טסק משותף לזיהוי תוכן הרסן בארבעים ושמונה
ArGuard Shared Task: Harmful Content Detection in Arabic Memes and LLM Prompts
טסק משותף ArGuard לזיהוי תוכן הרסן בארבעים ושמונה. הטסק כולל שני עתקים: עתק A עוסק בזיהוי תוכן הרסן בארבעים ושמונה, ועתק B עוסק בזיהוי תוכן הרסן בפונקציות LLM. הטסק כלל 58 צוותים, 35 צוותים השתתפו בבדיקה הסופית, ו-27 צוותים הגישו תיאורי מערכת. הצוותים המשתתפים חקרו מודלים כגון AraBERT, Jais, ו-Qwen3-VL. המערכות הטובות השיגו תוצאות macro-F1 של 0.823 ב-A1, 0.419 ב-A2, 0.984 ב-B1, ו-0.790 ב-B2.
תקציר מקורי באנגליתarXiv:2609.29349v2 Announce Type: replace Abstract: ArGuard is a shared task on harmful content detection in Arabic memes and LLM prompts. It includes two tracks: Track A focuses on multimodal hate detection in Arabic memes, while Track B addresses harmful prompt detection for Arabic LLM safety evaluation. In total, 58 teams registered, 35 participated in the final evaluation, and 27 submitted system-description papers. Participating teams explored models such as AraBERT, Jais, and Qwen3-VL. The best systems achieved macro-F1 scores of 0.823 on A1, 0.419 on A2, 0.984 on B1, and 0.790 on B2. Fine-grained meme classification in A2 was the most challenging setting, partly due to sparse labels and train-test distribution shifts.
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית