כתבה
arXiv cs.CL ·
IROH: דירוג חד-פעמי של הומור באמצעות רכישה היברידית בשלבים עם פסיכולוגים של LLM לטורניר JOKER 2026
IROH: Insightful Ranking Of Humor using Multi-Stage Hybrid Retrieval with Rationale-Distilled LLM Judges for JOKER 2026 Track Task 1 English
אירוה (IROH) השיגה את המקום הראשון בטורניר JOKER 2026 באמצעות מערכת רכישה בשלבים של שלושה. המערכת כוללת רכישה היברידית, ררנקינג של צד-צד, ופסיכולוגים של LLM. המערכת נבנתה על Gemma 4 ו-GPT-5, והיא כוללת רכישה של רצפים והפקת רצפים. המערכת נבחנה באמצעות ניסויים של רכישה והפקת רצפים, והיא הציגה תוצאות טובות יותר מאשר המערכות הקודמות.
תקציר מקורי באנגליתarXiv:2609.15618v2 Announce Type: replace-cross Abstract: Our team, VANGUARD, presents IROH (Insightful Ranking of Humor), a three-stage retrieval system for JOKER Task 1 English at CLEF 2026, achieving first place on the leaderboard with 0.6347 MAP. Our pipeline combines hybrid sparse-dense retrieval, cross-encoder reranking, and a LoRA-adapted Large Language Model judge ensemble. We employ Gemma 4 to generate query-aware rationales under two prompt strategies, generic and typed, and produce up to four types of structured hard negatives for training data construction. Through an ablation across three cross-encoder architectures, four dense embedders, and eight judge configurations, our key findings are threefold: (1) the rationale-distilled judge is the primary driver of ranking quality,
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית