כתבה
arXiv cs.CL ·
IROH: דירוג חושב של הומור באמצעות רכישה מרוב-שלבים עם פסנתר-LLM של רציונל-מזוקק לטורניר JOKER 2026
IROH: Insightful Ranking Of Humor using Multi-Stage Hybrid Retrieval with Rationale-Distilled LLM Judges for JOKER 2026 Track Task 1 English
המערכת IROH השיגה את המקום הראשון בטורניר JOKER Task 1 English עם 0.6347 MAP באמצעות רכישה מרוב-שלבים ופסנתר-LLM. המערכת IROH כוללת רכישה מרוב-שלבים, רכישה מחדש עם פסנתר-LLM ופסנתר-LLM של רציונל-מזוקק. המערכת IROH השיגה תוצאות טובות יותר מאשר המערכות האחרות בטורניר.
תקציר מקורי באנגליתarXiv:2609.15618v1 Announce Type: cross Abstract: Our team, VANGUARD, presents IROH (Insightful Ranking of Humor), a three-stage retrieval system for JOKER Task 1 English at CLEF 2026, achieving first place on the leaderboard with 0.6347 MAP. Our pipeline combines hybrid sparse-dense retrieval, cross-encoder reranking, and a LoRA-adapted Large Language Model judge ensemble. We employ Gemma 4 to generate query-aware rationales under two prompt strategies, generic and typed, and produce up to four types of structured hard negatives for training data construction. Through an ablation across three cross-encoder architectures, four dense embedders, and eight judge configurations, our key findings are threefold: (1) the rationale-distilled judge is the primary driver of ranking quality, whereas
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית