כתבה
arXiv cs.CL ·
KhatianDoc: בדיקת מולטימודל LLM על רישומי קרקעות חוקיים בבנגלית
KhatianDoc: A Human-Verified Benchmark Diagnosing Multimodal LLM Failure on Bengali Legal Land Records
KhatianDoc הוא בדיקת ביצועים למודלים LLM רב-מודאליים על רישומי קרקעות חוקיים בבנגלית. הבדיקה כוללת ארבע משימות: זיהוי סמלים, המרה מבסיס 16 לעשרוני, חילוץ שדות מובנים ותשובות לשאלות על מסמכים חוקיים. ששה מודלים LLM רב-מודאליים נבדקו, ותוצאותיהם הראו כי אין להם יכולת לקרוא רישומי קרקעות אלה.
תקציר מקורי באנגליתarXiv:2609.03597v1 Announce Type: new Abstract: Land ownership in Bangladesh is recorded in Ana-Ganda-Kora-Kranti-Til, a base-16 positional fraction system with dedicated Unicode glyphs, no mainstream font, and no coverage in any OCR pipeline or tokenizer. The handwritten records that carry these fractions, RS Khatians, are the authoritative title record for millions of parcels and a frequent subject of civil litigation, yet no benchmark has asked whether a machine can read one. We introduce KhatianDoc, a four-task benchmark built from 107 real RS Khatian records from the Vumi (land) Office of Munshiganj, Bangladesh: symbol recognition, base-16-to-decimal conversion, structured field extraction, and legal document question answering over 1,634 QA pairs. Ground truth was transcribed by hand
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית