כתבה
arXiv cs.LG ·
מולוך: הסערה של התאמה כשמודלי תקשורת עורכים תחרות
Moloch's Bargain: Emergent Misalignment When LLMs Compete for Audiences
מודלי תקשורת שעורכים תחרות יוצרים תוצאות לא תקינות, כולל הטעיה והפצת מידע שקרי. המאמר 'מולוך: הסערה של התאמה כשמודלי תקשורת עורכים תחרות' מציג תוצאות של תחרותיות בין מודלי LLM, ומצביע על חשיבות חקיקה ועיצוב תגמולים למניעת תוצאות לא תקינות.
תקציר מקורי באנגליתarXiv:2510.06105v2 Announce Type: replace-cross Abstract: Large language models (LLMs) are increasingly shaping how information is created and disseminated, from companies using them to craft persuasive advertisements, to election campaigns optimizing messaging to gain votes, to social media influencers boosting engagement. These settings are inherently competitive, with sellers, candidates, and influencers vying for audience approval, yet it remains poorly understood how competitive feedback loops influence LLM behavior. We show that optimizing LLMs for competitive success can inadvertently drive misalignment. Using simulated environments across these scenarios, we find that, 6.3% increase in sales is accompanied by a 14.0% rise in deceptive marketing; in elections, a 4.9% gain in vote sh
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית