כתבה
arXiv cs.AI ·
SpliTEE: השיפור של LLM Inference על ציוד תואם עם פרטיות GPU
SpliTEE: Improving LLM Inference on Trusted Hardware with Differentially Private GPU Outsourcing
מאמר חדש: SpliTEE - השיפור של LLM Inference על ציוד תואם עם פרטיות GPU. המחברים הציגו ארכיטקטורה חדשה שמשתמשת בפרטיות דיפרנציאלית כדי להגן על פרטיות המשתמש. הם גם הציגו ניתוח עומק של פונקציות LLM והציעו גבול עליון על טעות-ערך כתוצאה מהגנה על נקודות-מפגש.
תקציר מקורי באנגליתarXiv:2609.15039v1 Announce Type: cross Abstract: User prompts provided to large language models (LLMs) may contain sensitive or private information that can be misused by remotely deployed models, such as through inadvertent memorization during retraining. One way to protect user prompts is to execute the LLM inside a trusted execution environment (TEE), with the guarantee that the service provider has no access to computations performed within or information exchanged with the TEE. However, current TEEs are primarily CPU-based and significantly slower than GPUs optimized for LLM inference. To circumvent this, Tramer and Boneh (2019) proposed Slalom, which splits neural network inference between a TEE and an untrusted GPU and encrypts intermediate inputs sent to the GPU. We extend this sp
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית