כתבה
arXiv cs.CL ·
הזרקת ידע ב MoE? חקירת פיענוח ניגודי תודעתי ב-MoE למיתון האשליות של LLM
Knowledge Injection Exists in MoE? Exploring Expert-Aware Contrast Decoding in MoE for Mitigating LLMs'Hallucinations
חוקרים בדקו את קיומה של הזרקת ידע במודלים מסוג MoE. הם גילו שהבדלים בין שכבות במודלים אלו יכולים לשמש למיתון האשליות. הם הציעו אלגוריתם חדש, EAACD, המשתמש בהבדלים אלו לשיפור הדיוק.
תקציר מקורי באנגליתarXiv:2607.20426v1 Announce Type: new Abstract: Existing LLM hallucination mitigation methods, including prompt engineering and model optimization, either hardly alter models'internal knowledge or have poor cross-domain generalization. Contrastive decoding mitigates hallucinations by using layer-wise differences in LLMs. However, prior studies only explore transformer-based models (e.g., GPT), ignoring other effective frameworks like mixture-of-experts (MoE) models. Since MoE alters the traditional transformer architecture, we conduct empirical studies to investigate whether similar layer-wise differences exist in MoEs. Our results show that they do not exist in MoE with shared experts; nevertheless, across different MoEs, higher layers exhibit distinct expert activation patterns between f
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית