כתבה
arXiv cs.LG ·
GEOSTEER: אופטימיזציה גאודזית להכוונת אקטיבציה
GEOSTEER: Geodesic Optimization for Activation Steering in Large Language Models
GEOSTEER הוא שיטה חדשה להכוונת אקטיבציה במודלים גדולים של שפה. היא משתמשת באופטימיזציה גאודזית כדי לעדכן את האקטיבציות בצורה חלקה ויציבה, תוך שמירה על נורמת האקטיבציה. השיטה הוכחה כיעילה במודלים כמו LLaMA.
תקציר מקורי באנגליתarXiv:2609.10658v1 Announce Type: new Abstract: Activation steering provides a lightweight way to control large language models (LLMs) by modifying their hidden activations at inference time. Among these approaches, norm-preserving steering aims to change model behavior without altering the activation norm, reducing the risk of representation collapse and degradation. However, existing norm-preserving methods are limited by predefined steering trajectories and by their reliance on one-step updates, which may fail to capture the complex structure of activation distributions. We propose GeoSteer, an optimization-based method for norm-preserving activation steering. GeoSteer formulates steering as a Riemannian optimization problem and updates activations through a sequence of small geodesic s
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית