כתבה
arXiv cs.CL ·
CORE-BREW: גישה חדשה למים רב-סיביות למודלים LLM
CORE-BREW: LLR-Based Soft Decoding for Robust Multi-Bit LLM Watermarking
CORE-BREW היא גישה חדשה למים רב-סיביות למודלים LLM, המאפשרת זיהוי עמיד בעריכות ושימור איכות תרגום. היא משתמשת בשיטת soft-decision decoding ומשלבת מידע סטטיסטי על מנת לשפר את היכולת לזהות מים. הגישה נבדקה על מודלים LLM פתוחים והראתה תוצאים טובים.
תקציר מקורי באנגליתarXiv:2606.24163v2 Announce Type: replace-cross Abstract: Reliable provenance for LLM outputs requires multi-bit watermarks that remain robust under editing while maintaining low false-positive rates. Existing ECC-based LLM watermarks rely on hard-decision decoding, discarding token-level reliability information and limiting robustness under post-generation edits. We propose CORE-BREW, a COnstant-hit-Rate Embedding extension of BREW for multi-bit watermarking. CORE-BREW calibrates the watermark channel by targeting a fixed hit rate $p^\star$, yielding closed-form per-token log-likelihood ratios (LLRs) for soft-decision decoding. It incorporates entropy-aware erasures to limit perturbations in low-entropy contexts and combines likelihood-based scoring with soft-decision list decoding to exp
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית