כתבה
arXiv cs.LG ·
כמה קטן יכולים להיות? LoRA Fine-Tuning 270M-8B מודלים לחידוש מידע סוחרים בעסקאות כספיות
How Small Can You Go? LoRA Fine-Tuning 270M-8B Models for Merchant Information Extraction in Financial Transactions
חידוש LoRA לחידוש מידע סוחרים בעסקאות כספיות. המאמר מציג תוצאות של חידוש 23 רצועות ומודל ייצור, כולל LLaMA ו-Qwen.
תקציר מקורי באנגליתarXiv:2606.08051v4 Announce Type: replace-cross Abstract: Merchant information extraction turns noisy financial transaction descriptors into structured fields at production scale. Our deployed LoRA-fine-tuned LLaMA~3.1-8B reaches 96.95\% F1, but its memory and throughput motivate smaller replacements. We evaluate 23 retained fine-tuning runs plus a separately trained production reference, spanning Gemma~3 (270M--4B), Qwen~3.5 (0.8B--4B), Aya~3.35B, and LLaMA~3.1-8B across LoRA ranks, prompts, training templates, and serving environments. A rank-8 LLaMA fine-tune reaches 96.75\% F1, only 0.20 points below the rank-32 production reference. Qwen~3.5~4B with JSON-Only prompting reaches 96.60\% F1 and strict record-level exact match of 91.67\%, with a $3.8\times$ lower inverse-throughput time e
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית