يحقق كلٌّ من الانحدار اللوجستي وقاعدة الـ 80 يومًا accuracy بقيمة 0.72 على بيانات اختبار الانقطاع. فهل هما جيدان بالقدر نفسه؟ الـ accuracy تقول نعم. وفريق التسويق سيخالف ذلك فور أن يرى من يُعلِّمه كلٌّ منهما. فالـ accuracy تمزج خطأين مختلفين جدًا في رقم واحد، وترمي الترتيب الذي جعل قائمة الاتصالات مفيدة. هذا الدرس يفكّكهما.
\nكل تنبؤ في مسألة نعم/لا يقع في واحدة من أربع خانات. سمِّ المنقطعين إيجابيات (positives) (فهم الفئة التي تحاول العثور عليها).
\nimport pandas as pd\nfrom sklearn.linear_model import LogisticRegression\nfrom sklearn.metrics import confusion_matrix\nfrom sklearn.model_selection import train_test_split\nfrom sklearn.pipeline import make_pipeline\nfrom sklearn.preprocessing import StandardScaler\n\nchurn = pd.read_csv(\"churn.csv\")\nfeatures = [\"tenure_days\", \"orders\", \"total_spent\", \"avg_order_value\",\n \"days_since_last_order\", \"used_coupon\", \"support_tickets\", \"mobile_share\"]\nX_train, X_test, y_train, y_test = train_test_split(\n churn[features], churn[\"churned\"], test_size=0.25, random_state=42,\n stratify=churn[\"churned\"])\nmodel = make_pipeline(StandardScaler(), LogisticRegression()).fit(X_train, y_train)\npred = model.predict(X_test)\nrule = (X_test[\"days_since_last_order\"] > 80).astype(int)\n\nprint(\"model:\\n\", confusion_matrix(y_test, pred))\nprint(\"rule:\\n\", confusion_matrix(y_test, rule))يرتّب scikit-learn المصفوفة بحيث تكون الفئات الفعلية صفوفًا والفئات المتنبأ بها أعمدة، وكلاهما بترتيب تصاعدي (0 ثم 1). لذا تُقرأ مصفوفة النموذج [[35, 10], [18, 37]] هكذا:
مصفوفة القاعدة هي [[31, 14], [14, 41]]. التنبؤات الصحيحة نفسها، 72، لكن الأخطاء مختلفة: النموذج يهدر عروضًا أقل (10 مقابل 14) ويفوّت منقطعين أكثر (18 مقابل 14). أيّهما أفضل يعتمد على كلفة كل خطأ، والـ accuracy لا تستطيع أن تخبرك بذلك.
نسبتان تحوّلان المصفوفة إلى أسئلة يطرحها المدير:
\nبينهما توتّر مدمج. علّم أشخاصًا أكثر فترتفع الـ recall بينما تنخفض الـ precision عادةً؛ وعلّم عددًا أقل فيحدث العكس. أما الـ F1 فهو المتوسط التوافقي للاثنين، 2 * P * R / (P + R). ولا يكون مرتفعًا إلا إذا كانا مرتفعين معًا، فلا يستطيع النموذج التلاعب به بتعظيم أحدهما. استخدمه حين تحتاج إلى رقم واحد ويكون للخطأين وزن متقارب.
import pandas as pd\nfrom sklearn.linear_model import LogisticRegression\nfrom sklearn.metrics import classification_report, roc_auc_score\nfrom sklearn.model_selection import train_test_split\nfrom sklearn.pipeline import make_pipeline\nfrom sklearn.preprocessing import StandardScaler\n\nchurn = pd.read_csv(\"churn.csv\")\nfeatures = [\"tenure_days\", \"orders\", \"total_spent\", \"avg_order_value\",\n \"days_since_last_order\", \"used_coupon\", \"support_tickets\", \"mobile_share\"]\nX_train, X_test, y_train, y_test = train_test_split(\n churn[features], churn[\"churned\"], test_size=0.25, random_state=42,\n stratify=churn[\"churned\"])\nmodel = make_pipeline(StandardScaler(), LogisticRegression()).fit(X_train, y_train)\n\nprint(classification_report(y_test, model.predict(X_test), target_names=[\"stayed\", \"churned\"]))\nprint(\"model ROC AUC:\", round(roc_auc_score(y_test, model.predict_proba(X_test)[:, 1]), 3))\nprint(\"rule ROC AUC:\", round(roc_auc_score(y_test, X_test[\"days_since_last_order\"]), 3))تطبع classification_report الـ precision والـ recall والـ F1 لكل فئة، مع الـ support (عدد الحالات الحقيقية). اقرأ صف “churned” للسؤال العملي؛ أما صف “stayed” فهو التحليل نفسه مع تبادل الأدوار.
تعتمد الـ precision والـ recall على الحدّ الفاصل 0.5. أما الـ ROC AUC فلا تستخدم حدًّا فاصلًا إطلاقًا. إنها تسأل: إذا اخترت منقطعًا واحدًا وباقيًا واحدًا عشوائيًا، فكم مرة يعطي النموذج المنقطعَ الدرجةَ الأعلى؟ القيمة 0.5 تعني أن الدرجات ليست أفضل من رمي عملة؛ و1.0 تعني أن كل منقطع يتقدّم على كل باقٍ.
\nتأخذ roc_auc_score درجات، لا labels: مرّر predict_proba(...)[:, 1]. وأي درجة ترتّب العملاء تصلح، فيمكنك تقييم القاعدة بالقيمة الخام لـ days_since_last_order. تحصل القاعدة على 0.77؛ ويحصل الانحدار اللوجستي على 0.81. هذه الفجوة هي الفرق الحقيقي بينهما، وقد أخفاه تعادل الـ accuracy: ترتيب النموذج أفضل بشكل ملموس، ولهذا كانت قائمة العشرة الأعلى خطرًا في درس الانحدار اللوجستي دقيقة إلى هذا الحد.
ابدأ من كلفة كل خطأ، ثم اختر:
\n| الموقف | \nراقب | \nالسبب | \n
|---|---|---|
| تفويت حالة مكلف (فحص السرطان، الاحتيال) | \nالـ Recall | \nكل سلبي كاذب هو الخطأ المكلف | \n
| التصرّف بشأن حالة مكلف (عروض غالية، حظر حسابات) | \nالـ Precision | \nكل إيجابي كاذب يهدر مالًا أو ثقة | \n
| ستتصرّف بشأن أفضل N بحسب الدرجة | \nالـ ROC AUC، أو نسبة الإصابة في أفضل N | \nجودة الترتيب هي ما يهم | \n
| الخطآن مهمان، والمطلوب رقم واحد | \nالـ F1 | \nيعاقب إهمال أيٍّ منهما | \n
تحرّكت الـ precision والـ recall في اتجاهين متعاكسين بين النموذج والقاعدة لأنهما يستخدمان فعليًا حدّين فاصلين مختلفين. ويمكنك أن تحرّك هذا الحدّ بنفسك، عن قصد، وهذا موضوع الدرس القادم.
\n","toc":[{"id":"sec-1","text":"أربع نتائج","level":2},{"id":"sec-2","text":"الـ Precision والـ Recall والـ F1","level":2},{"id":"sec-3","text":"الـ ROC AUC: تقييم الترتيب","level":2},{"id":"sec-4","text":"اختيار المقياس","level":2}],"takeaways":["تعدّ مصفوفة الالتباس (confusion matrix) السلبيات الصحيحة والإيجابيات الكاذبة والسلبيات الكاذبة والإيجابيات الصحيحة؛ وفي scikit-learn تمثّل الصفوفُ الفئاتِ الفعلية والأعمدةُ الفئاتِ المتنبأ بها.","الـ precision هي نسبة الحالات المُعلَّمة التي هي حقيقية؛ والـ recall هي نسبة الحالات الحقيقية التي عُلِّمت.","الـ F1 هو المتوسط التوافقي للـ precision والـ recall، ومفيد حين تحتاج إلى رقم واحد يعاقب إهمال أيٍّ منهما.","يقيس الـ ROC AUC جودة الترتيب عبر كل العتبات: أي احتمال أن ينال مثال إيجابي عشوائي درجة أعلى من مثال سلبي عشوائي.","تحقّق دائمًا من الفئة الإيجابية: فيload_breast_cancer الورم الخبيث هو 0، فالـ recall للخبيث يحتاج إلى pos_label=0."],"further":[{"title":"Classification metrics","url":"https://scikit-learn.org/stable/modules/model_evaluation.html#classification-metrics"},{"title":"confusion_matrix","url":"https://scikit-learn.org/stable/modules/generated/sklearn.metrics.confusion_matrix.html"},{"title":"roc_auc_score","url":"https://scikit-learn.org/stable/modules/generated/sklearn.metrics.roc_auc_score.html"}],"quiz":[{"q":"تُعيد confusion_matrix(y_test, pred) القيمة [[35, 10], [18, 37]] لبيانات الانقطاع (1 = منقطع). كم عميلًا منقطعًا فات النموذج؟
كل عرض استرجاع يكلّف 40 دولارًا، لذا لا يريد فريق التسويق التواصل إلا مع العملاء المرجّح جدًا انقطاعهم. أيّ مقياس يجب أن تراقبه عن كثب؟
","options":[{"text":"الـ precision، لأنها تقيس كم من العملاء الذين تواصلنا معهم كانوا منقطعين فعلًا.","why":"صحيح. كل إيجابية كاذبة تعني 40 دولارًا أُنفقت على عميل كان سيبقى على أي حال."},{"text":"الـ recall، لأنها تعدّ كم منقطعًا تصل إليه.","why":"الـ recall تكافئ التواصل مع عدد أكبر من الناس، وهذا بالضبط ما يحاجج العرض المكلف ضده."},{"text":"الـ accuracy، لأنها توازن بين نوعي الخطأ.","why":"تزن الـ accuracy الخطأين بالتساوي، لكن الإيجابيات الكاذبة هنا تكلّف مالًا والسلبيات الكاذبة لا تكلّف شيئًا إضافيًا."}],"answer":0},{"q":"للنموذج A قيمة ROC AUC تساوي 0.81 وللنموذج B قيمة 0.77، لكن كليهما يحقق accuracy بقيمة 0.72 عند العتبة الافتراضية. ماذا يخبرك ذلك؟
","options":[{"text":"فرق الـ AUC لا بد أنه خطأ حسابي، ما دامت الـ accuracy متساوية.","why":"المقياسان يقيسان أشياء مختلفة. الـ accuracy تنظر إلى عتبة واحدة؛ والـ AUC تنظر إلى الترتيب كله."},{"text":"B أفضل لأنه يبلغ الـ accuracy نفسها بترتيب أضعف.","why":"الترتيب الأضعف عيب؛ فهو يعني أن درجات B تفصل المنقطعين عن الباقين بشكل أسوأ."},{"text":"A يرتّب العملاء أفضل، فسيعطي قائمة اتصالات أفضل في معظم أحجام القوائم.","why":"صحيح. تلخّص الـ AUC جودة الترتيب، وعليها تعتمد قائمة أفضل N."}],"answer":2},{"q":"نموذج على load_breast_cancer يُبلغ أن recall_score(y_test, pred) = 0.99. لماذا قد يضلّل هذا الرقمُ الطبيبَ؟
pos_label=0 (أو اقرأ التقرير لكل فئة) لتحصل على الـ recall للخبيث."},{"text":"لأن الـ recall تتجاهل السلبيات الكاذبة، وهي ما يهمّ في الطب.","why":"الـ recall مبنية على السلبيات الكاذبة؛ والمشكلة في الفئة التي تُحسب لها."}],"answer":1}],"exercise":{"kind":"python","starter":"from sklearn.datasets import load_breast_cancer\nfrom sklearn.metrics import confusion_matrix, precision_score, recall_score, roc_auc_score\nfrom sklearn.model_selection import train_test_split\nfrom sklearn.tree import DecisionTreeClassifier\n\ndata = load_breast_cancer()\nprint(data.target_names) # index 0 = malignant, 1 = benign\nX, y = load_breast_cancer(return_X_y=True, as_frame=True)\nX_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.25, random_state=42, stratify=y)\n\nmodel = DecisionTreeClassifier(max_depth=2, random_state=42).fit(X_train, y_train)\npred = model.predict(X_test)\n\n# 1. Confusion matrix (rows = actual, columns = predicted)\ncm = None\n\n# 2. Recall and precision for MALIGNANT tumours\nrecall_malignant = recall_score(y_test, pred)\nprecision_malignant = precision_score(y_test, pred)\n\n# 3. ROC AUC of the model's scores\nauc = None\n","solution":"from sklearn.datasets import load_breast_cancer\nfrom sklearn.metrics import confusion_matrix, precision_score, recall_score, roc_auc_score\nfrom sklearn.model_selection import train_test_split\nfrom sklearn.tree import DecisionTreeClassifier\n\ndata = load_breast_cancer()\nprint(data.target_names) # index 0 = malignant, 1 = benign\nX, y = load_breast_cancer(return_X_y=True, as_frame=True)\nX_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.25, random_state=42, stratify=y)\n\nmodel = DecisionTreeClassifier(max_depth=2, random_state=42).fit(X_train, y_train)\npred = model.predict(X_test)\n\ncm = confusion_matrix(y_test, pred)\n\nrecall_malignant = recall_score(y_test, pred, pos_label=0)\nprecision_malignant = precision_score(y_test, pred, pos_label=0)\n\nauc = roc_auc_score(y_test, model.predict_proba(X_test)[:, 1])\nprint(cm, recall_malignant, precision_malignant, auc)\n","checks":[{"id":"cm","test":"cm is not None and [list(map(int, r)) for r in cm] == [[50, 3], [10, 80]]"},{"id":"recall","test":"abs(float(recall_malignant) - 50 / 53) < 1e-6"},{"id":"precision","test":"abs(float(precision_malignant) - 50 / 60) < 1e-6"},{"id":"auc","test":"auc is not None and 0.9 < float(auc) < 0.97"}],"title":"مقاييس للفئة التي تهمّ","prompt":"شجرة بعمق 2 تفحص أورام الثدي. في هذه البيانات 0 يعني خبيثًا و1 يعني حميدًا. قِس النموذج من وجهة نظر الطبيب.
\ncm: مصفوفة الالتباس لـ y_test مقابل pred.recall_malignant وprecision_malignant: الـ recall والـ precision مع اعتبار الخبيث الفئة الإيجابية.auc: قيمة الـ ROC AUC من الاحتمالات التي يتنبأ بها النموذج.confusion_matrix(y_test, pred): الـ labels الحقيقية أولًا.","يحسب الكود المبدئي المقاييس للـ label 1 (حميد). أضف pos_label=0.","تريد roc_auc_score درجات للـ label الإيجابي في y_test (أي 1). استخدم model.predict_proba(X_test)[:, 1]، لا predict."],"explanation":"تُظهر المصفوفة [[50, 3], [10, 80]] ثلاثة أورام خبيثة صُنّفت حميدة: وهذا هو الخطأ الخطِر. الـ recall للخبيث هي 50/53 ≈ 0.94؛ والـ precision هي 50/60 ≈ 0.83، لأن 10 أورام حميدة عُلِّمت. ومع القيمة الافتراضية pos_label=1 كنت ستُبلغ عن recall الحميد (0.89) كأنها تخصّ السرطان. والـ AUC نحو 0.94: الأوراق الأربع للشجرة تعطي ترتيبًا خشنًا لكنه مفيد.