כתבה
arXiv cs.LG ·
כמה ניתן להפר את המדד של תכונות הדיבור? תוכנית תיקון, בנקאי, ומה שהתיקון קונה
How Hackable Is Your Speech Quality Metric? A Corrected Protocol, a Benchmark, and What Patching Buys
מדדים של תכונות הדיבור נעשים פעילים יותר כפונקציות שכר. אך עדיין אין מדד מוסכם לקביעת חולשתם. המאמר הזה מציע תוכנית תיקון, בנקאי, ומציע לבדוק את חולשתם של מדדים קיימים. התוכנית נבחנה על 4 מדדים שונים, והתוצאות היו: NISQA - 90%, SSL-MOS - 21%, DNSMOS - 14% ו-UTMOS - 6%. התוכנית גם נבחנה על ידי תוכנית תיקון של חברת Meta, והתוצאות היו: PESQ -0.03 ו-0.23.
תקציר מקורי באנגליתarXiv:2610.10899v1 Announce Type: new Abstract: Speech quality predictors are increasingly used as rewards, yet no agreed measure of their hackability exists. The usual measurement has two flaws. First, the perturbation reaches the predictor through a processing chain -- here a neural codec -- that shifts the score on its own, which scoring against the raw input charges to the attack. Referencing the unperturbed round trip instead changes measured hackability by up to a factor of four (0.31 to 0.08 for one defence). Second, one trained attacker is a sample, not a measurement: five attackers differing only in random seed reach success rates from 0.00 to 0.38 against one fixed predictor, so a defence claim needs the worst case over several. Under this protocol, four published predictors diff
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית