כתבה
arXiv cs.CL ·
מעבר לקריסת מצב: יצירת שיחות מומחים סינתטיות מגוונות
Beyond Mode Collapse: Generating Diverse Synthetic Expert Conversations via Generative Flow Networks
חוקרים הצליחו ליצור שיחות מומחים סינתטיות מגוונות באמצעות רשתות זרימה יוצרות. השיטה מאפשרת לדמות שיחות ברמת גבוהה של אמינות ומגוון, ויכולה לשמש לאימון מודלים כגון LLM. המחקר הראה כי השיטה החדשה עולה על שיטות אחרות באיכות ובמגוון השיחות המיוצרות.
תקציר מקורי באנגליתarXiv:2609.38359v1 Announce Type: cross Abstract: High quality synthetic data is central to post training LLMs for adaptive AI applications that represent the diverse expert strategies and decisions in conversations. Prompting LLMs directly or conditioning them on end use scenarios yields low diversity data that collapses onto dominant modes. We propose a method to generate diverse high quality synthetic data using Generative Flow Networks (GFlowNets). We show that training GFlowNets to generate latent conversation structure using a Gaussian mixture density over key interaction features (e.g., confusion episode dynamics, scaffolding directive balance) enables sampling expert strategies in proportion to their prevalence in the training data. Across two structurally distinct domains, tutorin
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית