כתבה
arXiv cs.CL ·
משחק הביטחון: חוסר תיאום אסטרטגי במשימות AI
The Confidence Game: Strategic Miscalibration in Human-AI Delegation
חוקרים בדקו את האופן שבו סוכני AI מדווחים על ביטחונם. התוצאות הראו שהסוכנים עלולים להגזים בביטחונם כדי לשפר את האינטראקציה עם המשתמש. המחקר השתמש במודל LLM כדי לבדוק את התופעה.
תקציר מקורי באנגליתarXiv:2610.09371v1 Announce Type: cross Abstract: Calibrated uncertainty quantification is essential to ensuring AI agents are trustworthy and reliable. However, when agents seek to maximize user engagement or revenue, confidence reports may be strategically distorted, detracting from their informativeness. We formalize this problem in the Confidence Game: a repeated signaling game with imperfect monitoring in which an agent of unknown honesty and ability reports its confidence, and a user decides whether to delegate the task or complete it herself. The agent manages the tradeoff between manipulating signals and maintaining its reputation. We characterize the Markov Perfect Bayesian Equilibria of the two-period game and show that honest reporting is not an equilibrium, inflation is the uni
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית