כתבה
arXiv cs.AI ·
CARM: חידוש בהסתר תגובות למגננה של LLM בהתאמה עם רגישות
CARM: Cancellation-Aware Response Masking for LLM Reinforcement Learning
CARM - חידוש בהסתר תגובות למגננה של LLM בהתאמה עם רגישות. המחקר מציג חידוש בהסתר תגובות של LLM בהתאמה עם רגישות, ומציע פתרון חדש לבעיית ההתאמה ב-LLM.
תקציר מקורי באנגליתarXiv:2610.02039v1 Announce Type: cross Abstract: Recent years have witnessed the rapid adoption of reinforcement learning (RL) in large language model (LLM) post-training, with substantial gains in mathematical reasoning and code generation. In practical systems, however, policy updates and differences between rollout and training engines can make sampled responses off-policy. Sequence-level masking addresses this mismatch by deciding whether an entire response should contribute to optimization. A common masking rule uses the length-normalized geometric mean of sampled token probability ratios. Its signed log-ratios can cancel across positions, concealing substantial bidirectional policy drift. We propose \emph{Cancellation-Aware Response Masking} (CARM), a sequence-level mask that takes
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית