יום שלישי, 15 בספטמבר 2026 LIVE
AI־INFO

כתבה arXiv cs.AI ·

מינוי סמכות לסוכנים לא מסונכרנים

Delegating Authorization to Misaligned Agents: Coalitional Alignment and Safe Control
חוקרים פיתחו שיטה למניעת פעולות לא בטוחות על ידי סוכנים מלאכותיים. השיטה מאפשרת לוועדת ביקורת לאשר או לדחות פעולות, ולהבטיח שהסוכן יפעל בצורה בטוחה. המחקר נערך בארכיון arXiv.
תקציר מקורי באנגליתarXiv:2609.15803v1 Announce Type: cross Abstract: Long-running AI agents create a control problem: each action they take changes the state, which in turn affects the trajectory of future actions. If the agent is not fully aligned, then guaranteeing safety requires approving consequential actions before allowing them to be executed. But requiring human approval at every step makes attention a bottleneck. Delegating review to other AI agents raises the same alignment problem: the reviewers may themselves be misaligned. We identify a condition on a reviewing panel that is weaker than individual alignment yet necessary and sufficient for a guarantee that the principal fares at least as well in expectation as under a designated baseline policy. Each reviewer agent reports whether an action prop
קרא במקור המקורי