כתבה
arXiv cs.LG ·
עלויות נסתרות של 99% דיוק: תקציר אמינות של הבסיס המבצעי של IBM Telco Customer Churn
The Hidden Costs of 99% Accuracy: A Trustworthiness Audit of the Telco Customer Churn Benchmark
בדיקה של הבסיס המבצעי של IBM Telco Customer Churn חשפה תקלות אמינות. נמצא כי סמפל SMOTE משפיע על ניקיון F1, וכי ערך TotalCharges נקבע על ידי ערך MonthlyCharges. נציגה חדשה של תקציר אמינות נכתבה.
תקציר מקורי באנגליתarXiv:2610.00118v1 Announce Type: new Abstract: Customer churn prediction on the IBM Telco Customer Churn benchmark (n = 7,043) routinely reports test accuracies above 95%, with the most cited published study reporting 99.01%. We audit this benchmark for four trustworthiness failures invisible to the accuracy- and F1-centred reporting that dominates the literature. First, pre-split SMOTE inflates churn-class F1 by 13.1 percentage points across ten classifiers and fifteen seeds (Wilcoxon p < 10^-4 per classifier); the same leaky pipeline ordering paired with class weighting yields no inflation, isolating the effect to SMOTE's geometric construction. We measure the mechanism directly: approximately 36% of synthetic training points are nearest-neighbour interpolations of test-set instances. S
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית