כתבה
arXiv cs.LG ·
מסיכה לאיחוד: חשיבה מחדש של SpecAugment למעבדי Audio Spectrogram
From Masking to Merging: Rethinking SpecAugment for Efficient Audio Spectrogram Transformer
המאמר מציג תיקון ל-SpecAugment שמאפשר טיפול יעיל יותר של מעבדי Audio Spectrogram. השיטה מספקת תהליך יעיל יותר של טיפול במידע, עם זיהוי נמוך של 13.9%.
תקציר מקורי באנגליתarXiv:2609.13260v1 Announce Type: cross Abstract: This paper proposes SpecAugment-Patch Merging, a simple yet effective method to accelerate Audio Spectrogram Transformer (AST) training. We first apply SpecAugment to mask input spectrograms at the patch level, and after positional embeddings are added, the method selects r pairs of masked patches and merges them, reducing the number of tokens processed by the Transformer. Increasing the number of merged pairs r from 0 to 100 keeps mAP on AudioSet nearly unchanged (34.07 to 34.08) while throughput increases from 43.3 to 49.3 samples/sec, which is a relatively 13.9% improvement. Similar patterns appear on ESC-50 and Speech Commands V2, where throughput steadily improves with only minor accuracy changes, demonstrating that this merging approa
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית