כתבה
arXiv cs.AI ·
זיהוי ישויות בהתקן: מחקר יישומיות
On-Device Named-Entity Recognition: A Deployability Study of Accuracy, Cost, Reliability, and Confidence
חוקרים בדקו יישומיות של זיהוי ישויות בהתקן, באמצעות מודלים כמו Qwen ו-DeepSeek. הם השוו את הדיוק, עלות, אמינות וביטחון של המודלים, ומצאו כי מודלים קטנים יותר יכולים להתמודד עם מודלים גדולים יותר בדיוק, אך עם זאת, הם סובלים מפלטות לא תקינות.
תקציר מקורי באנגליתarXiv:2610.00007v1 Announce Type: cross Abstract: Named-entity recognition (NER) is increasingly wanted on-device (no API, low latency, data kept local). The practitioner's question is not the leaderboard but which model is deployable, how to evaluate it without human annotation, and whether its confidence can be trusted. We answer these jointly. We place nine systems across three paradigms and 13 M to 8 B parameters: a classical tagger (spaCy), bidirectional-encoder specialists (GLiNER, 166 to 460 M), and generative LLMs run locally (Qwen3-0.6B/1.7B/4B-Instruct, DeepSeek-R1-1.5B/8B), on three datasets of differing character, and report accuracy plus two axes the literature omits: latency and output validity. Because our corpus (RSS-News) had no gold, we built silver gold from a cross-fami
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית