כתבה
arXiv cs.CL ·
PriceBench: בדיקת אבחון למחיר, איכות והעדפות מותג
PriceBench: A Diagnostic Benchmark for Price, Quality, and Brand Preferences in LLM Booking Agents
PriceBench הוא בדיקת אבחון להערכת העדפות מחיר, איכות ומותג של סוכנים מבוססי LLM. הבדיקה בודקת 28 מודלים שונים מ-8 ספקים, ומצאה שיכולת ה-LLM קשורה לעקביות בחירות, לא לתוכן הבחירות. המחקר מראה ש-LLM יכולים להחזיק העדפות שונות מאוד, ושהבנת העדפות אלו חשובה להבנת התנהגות הסוכנים.
תקציר מקורי באנגליתarXiv:2609.31468v1 Announce Type: cross Abstract: LLMs increasingly act as purchasing agents, which makes the LLM, not the user, the one choosing among the options that satisfy a request; its preferences quietly fix what gets bought and what it costs. Hotel booking is a clean instance: a high-volume choice settled on a few comparable attributes, where the pick reveals those preferences. We introduce PriceBench, a diagnostic benchmark that recovers an LLM's price, quality, and brand preferences from its booking choices with a logit choice model, applied to 28 LLMs from 8 providers on 3,600 hotel tasks from 179 real New York City properties. We find that capability is associated with how consistently an LLM chooses, not with what it chooses: more capable LLMs hold stronger, more consistent p
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית