{"id":"l-ml-3-5","courseId":"ml-crash-course","lang":"ar","kind":"lesson","summary":"حرّك عتبة القرار لتبادل الـ precision بالـ recall، واخترها من تكاليف العمل باستخدام TunedThresholdClassifierCV، وتعامل مع الفئات النادرة بأوزان الفئات والمقاييس الصحيحة.","html":"

ظلّت predict تتخذ قرارًا نيابةً عنك بصمت: صنّف العميل منقطعًا حين يكون الاحتمال 0.5 على الأقل. هذا الحدّ الفاصل يفترض أن تفويت منقطع وإهدار عرض لهما الكلفة نفسها. وهذا لا يكاد يحدث أبدًا. اختيار العتبة (threshold) عن قصد من أرخص التحسينات وأعلاها قيمة التي يمكنك إجراؤها على أي مصنِّف، ولا يتطلّب إعادة تدريب أي شيء.

\n

العتبة مقبض تديره

\n

الاحتمالات تأتي من النموذج؛ أما العتبة فهي سياستك أنت. حرّكها وراقب الـ precision والـ recall يتجاذبان.

\n
Python
import pandas as pd\nfrom sklearn.linear_model import LogisticRegression\nfrom sklearn.metrics import precision_score, recall_score\nfrom sklearn.model_selection import train_test_split\nfrom sklearn.pipeline import make_pipeline\nfrom sklearn.preprocessing import StandardScaler\n\nchurn = pd.read_csv(\"churn.csv\")\nfeatures = [\"tenure_days\", \"orders\", \"total_spent\", \"avg_order_value\",\n            \"days_since_last_order\", \"used_coupon\", \"support_tickets\", \"mobile_share\"]\nX_train, X_test, y_train, y_test = train_test_split(\n    churn[features], churn[\"churned\"], test_size=0.25, random_state=42,\n    stratify=churn[\"churned\"])\nmodel = make_pipeline(StandardScaler(), LogisticRegression()).fit(X_train, y_train)\nprob = model.predict_proba(X_test)[:, 1]\n\nfor t in [0.3, 0.4, 0.5, 0.6, 0.7, 0.8]:\n    flagged = (prob >= t).astype(int)\n    print(f\"threshold {t:.1f}: flags {flagged.sum():2}  precision {precision_score(y_test, flagged):.2f}\"\n          f\"  recall {recall_score(y_test, flagged):.2f}\")
\n
\n مخطط خطي على العتبات من 0.3 إلى 0.8. ترتفع الـ precision بلطف من 0.69 إلى 0.86. وتنخفض الـ recall بحدّة من 0.93 إلى 0.33. العتبة الافتراضية 0.5 مُعلَّمة بخط عمودي متقطع.\n \n \n 1.0\n 0.5\n 0\n 0.3\n 0.5\n 0.8\n العتبة\n \n \n \n \n \n precision\n recall\n
الـ precision والـ recall مع تحرّك العتبة (بيانات اختبار الانقطاع)
\n

عند 0.3 يُعلِّم النموذج 74 عميلًا ويلتقط 93% من المنقطعين، لكن 31% من العلامات خاطئة. وعند 0.8 يُعلِّم 21، و86% منها صحيحة، لكنه لا يلتقط إلا ثلث المنقطعين. لا طرف “أفضل” من الآخر. النقطة الصحيحة تعتمد على المال.

\n

دع التكاليف تختار العتبة

\n

أرقام Cartwheel: عرض الاسترجاع يكلّف 20 دولارًا بين خصم ومعالجة. والتواصل مع منقطع حقيقي يُنقذه في 30% من الحالات، والعميل المُنقذ يساوي 100 دولار من هامش الربح، فكل منقطع نتواصل معه يساوي في المتوسط 0.3 * 100 - 20 = +$10. أما التواصل مع عميل وفيّ فيُهدر الـ 20 دولارًا. والربح هو 10 * TP - 20 * FP.

\n

لو كانت الاحتمالات معايَرة بإتقان، لاستطعت حلّ معادلة نقطة التعادل: تواصَل حين يكون p * 10 > (1 - p) * 20، أي حين p > 2/3. لكن الاحتمالات الحقيقية نادرًا ما تكون معايَرة بهذه الجودة، فالنهج الأكثر موثوقية هو البحث عن العتبة التي تعظّم الربح، باستخدام التحقق المتقاطع على بيانات التدريب. وهذا بالضبط ما يفعله TunedThresholdClassifierCV.

\n
Python
import numpy as np\nimport pandas as pd\nfrom sklearn.linear_model import LogisticRegression\nfrom sklearn.metrics import make_scorer\nfrom sklearn.model_selection import TunedThresholdClassifierCV, train_test_split\nfrom sklearn.pipeline import make_pipeline\nfrom sklearn.preprocessing import StandardScaler\n\nchurn = pd.read_csv(\"churn.csv\")\nfeatures = [\"tenure_days\", \"orders\", \"total_spent\", \"avg_order_value\",\n            \"days_since_last_order\", \"used_coupon\", \"support_tickets\", \"mobile_share\"]\nX_train, X_test, y_train, y_test = train_test_split(\n    churn[features], churn[\"churned\"], test_size=0.25, random_state=42,\n    stratify=churn[\"churned\"])\n\ndef profit(y_true, y_pred):\n    y_true, y_pred = np.asarray(y_true), np.asarray(y_pred)\n    tp = ((y_pred == 1) & (y_true == 1)).sum()\n    fp = ((y_pred == 1) & (y_true == 0)).sum()\n    return 10 * tp - 20 * fp\n\nbase = make_pipeline(StandardScaler(), LogisticRegression())\ntuned = TunedThresholdClassifierCV(base, scoring=make_scorer(profit), cv=5).fit(X_train, y_train)\nprint(\"chosen threshold:\", round(tuned.best_threshold_, 2))\n\ndefault = base.fit(X_train, y_train)\nprint(\"test profit, contact everyone: \", profit(y_test, np.ones(len(y_test))))\nprint(\"test profit, threshold 0.5:    \", profit(y_test, default.predict(X_test)))\nprint(\"test profit, tuned threshold:  \", profit(y_test, tuned.predict(X_test)))
\n

التواصل مع عملاء الاختبار المئة كلهم يخسر 350 دولارًا. العتبة الافتراضية تربح 170 دولارًا؛ والمضبوطة، وهي نحو 0.58، تربح 180 دولارًا مع التواصل مع عدد أقل من الناس. أما القيمة النظرية 0.67 فكانت ستربح أقل، لأن احتمالات النموذج منحرفة قليلًا: وهذا تذكير بأن تثق بالنتائج المقيسة أكثر من المعادلات الأنيقة. تحوّل make_scorer أي دالة (y_true, y_pred) إلى شيء تستطيع أدوات الضبط في scikit-learn تعظيمه.

\n

يكون الاحتمال معايَرًا (calibrated) حين ينقطع فعلًا نحو 70% من كل العملاء الذين نالوا درجة 0.7. الانحدار اللوجستي يقترب من ذلك غالبًا؛ والأشجار المعزّزة والغابات تكون أبعد غالبًا. وحين تحتاج إلى أن تكون الاحتمالات نفسها صحيحة (لتقدير الإيرادات المتوقعة مثلًا لا للترتيب)، يستطيع CalibratedClassifierCV في scikit-learn إعادة معايرتها. أما لاختيار عتبة، فالضبط المباشر على المقياس التجاري يتجاوز هذا السؤال.

\n\n

حين تكون الفئة الإيجابية نادرة

\n

المنقطعون 55% من العملاء، فكلتا الفئتين ممثّلة جيدًا. لكن كثيرًا من المسائل الحقيقية ليست كذلك: الاحتيال، والعيوب، والأمراض النادرة. خذ بيانات الأرقام (digits) واسأل “هل هذا 9؟”. 10% فقط من الصور كذلك، فالنموذج الذي يجيب “لا” دائمًا يحقق accuracy بنسبة 90%.

\n
Python
from sklearn.datasets import load_digits\nfrom sklearn.linear_model import LogisticRegression\nfrom sklearn.metrics import average_precision_score, precision_score, recall_score\nfrom sklearn.model_selection import train_test_split\nfrom sklearn.pipeline import make_pipeline\nfrom sklearn.preprocessing import StandardScaler\n\nX, digit = load_digits(return_X_y=True)\ny = (digit == 9).astype(int)\nX_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.25, random_state=42, stratify=y)\nprint(\"share of 9s:\", round(y.mean(), 3))\n\nfor weights in [None, \"balanced\"]:\n    m = make_pipeline(StandardScaler(), LogisticRegression(class_weight=weights, max_iter=1000))\n    m.fit(X_train, y_train)\n    pred, prob = m.predict(X_test), m.predict_proba(X_test)[:, 1]\n    print(f\"class_weight={weights!s:9} accuracy {m.score(X_test, y_test):.3f}  \"\n          f\"precision {precision_score(y_test, pred):.2f}  recall {recall_score(y_test, pred):.2f}  \"\n          f\"avg precision {average_precision_score(y_test, prob):.3f}\")
\n

لا تكاد الـ accuracy تتحرك، من 0.98 إلى 0.97، ولا تخبرك بشيء مفيد. أما الـ precision والـ recall فتحكيان القصة الحقيقية. يزن class_weight="balanced" كل فئة بعكس تكرارها أثناء التدريب، فيكلّف الرقم 9 الفائت نحو تسعة أضعاف الإنذار الكاذب. ترتفع الـ recall من 0.82 إلى 0.91، وتنخفض الـ precision من 0.97 إلى 0.82. وتلخّص الـ average precision (المساحة تحت منحنى precision-recall) جودة الترتيب مع تركيز على الفئة النادرة؛ وهي عادةً أغنى بالمعلومات من الـ ROC AUC حين تكون الحالات الإيجابية شحيحة.

\n\n

ظللت تقارن النماذج والعتبات على بيانات اختبار واحدة من 100 عميل، وتتحفّظ على كل فجوة بأنها “ربما ضجيج”. يستبدل القسم 4 هذا التقسيم الواحد بالتحقق المتقاطع، فتستطيع أخيرًا أن تقول كم يجب أن يكون الفرق كبيرًا قبل أن يكون حقيقيًا.

\n","toc":[{"id":"sec-1","text":"العتبة مقبض تديره","level":2},{"id":"sec-2","text":"دع التكاليف تختار العتبة","level":2},{"id":"sec-3","text":"حين تكون الفئة الإيجابية نادرة","level":2}],"takeaways":["تطبّق predict عتبة 0.5 على الاحتمال؛ ويمكنك تطبيق أي عتبة بنفسك بـ predict_proba(X)[:, 1] >= t.","رفع العتبة يُعلِّم حالات أقل، فيرفع الـ precision عادةً ويخفض الـ recall؛ وخفضها يفعل العكس.","اختر العتبة من كلفة كل خطأ، على بيانات التدريب عبر التحقق المتقاطع، مثلًا باستخدام TunedThresholdClassifierCV ودالة تقييم مخصّصة.","حين تكون الفئة الإيجابية نادرة، تكون الـ accuracy مضلِّلة؛ فاعرض بدلًا منها الـ precision والـ recall والـ average precision.","يجعل class_weight="balanced" أخطاء الفئة النادرة تُحسب أكثر أثناء التدريب، فيرفع الـ recall على حساب شيء من الـ precision."],"further":[{"title":"Tuning the decision threshold for class prediction","url":"https://scikit-learn.org/stable/modules/classification_threshold.html"},{"title":"TunedThresholdClassifierCV","url":"https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.TunedThresholdClassifierCV.html"},{"title":"precision_recall_curve","url":"https://scikit-learn.org/stable/modules/generated/sklearn.metrics.precision_recall_curve.html"}],"quiz":[{"q":"

خفضت عتبة الانقطاع من 0.5 إلى 0.3. ماذا تتوقع؟

","options":[{"text":"ترتفع الـ precision والـ recall معًا، لأن النموذج يرى منقطعين أكثر.","why":"النموذج نفسه لا يتغيّر. تعليم عملاء أكثر يلتقط منقطعين أكثر، لكنه يلتقط باقين أكثر أيضًا."},{"text":"لا بد أن ترتفع الـ accuracy، لأن عددًا أكبر من المنقطعين يُلتقط.","why":"قد تتحرك الـ accuracy في أي اتجاه؛ فقد تفوق الإيجابياتُ الكاذبة الإضافية الإيجابياتِ الصحيحة الإضافية."},{"text":"لا يتغيّر شيء، لأن العتبة لا تؤثر إلا في predict_proba.","why":"العكس هو الصحيح. الاحتمالات تبقى كما هي؛ والـ labels المشتقة منها هي التي تتغيّر."},{"text":"يُعلَّم عملاء أكثر؛ فترتفع الـ recall وتنخفض الـ precision عادةً.","why":"صحيح. على بيانات اختبار الانقطاع، ترتفع الـ recall من 0.67 إلى 0.93 بينما تنخفض الـ precision من 0.79 إلى 0.69."}],"answer":3},{"q":"

إنقاذ عميل منقطع يساوي +10 دولارات صافية، والتواصل مع عميل وفيّ يكلّف 20 دولارًا. إذا كانت الاحتمالات معايَرة جيدًا، فعند أيّ احتمال انقطاع يصبح التواصل مجديًا؟

","options":[{"text":"فوق نحو 0.67، حيث p * 10 = (1 - p) * 20.","why":"صحيح. دون الثلثين، تفوق الخسارة المتوقعة على الباقين المكسبَ المتوقع من المنقطعين."},{"text":"فوق 0.5، العتبة الافتراضية.","why":"تفترض القيمة الافتراضية أن الخطأين متساويان في الكلفة، وهذا غير صحيح هنا."},{"text":"فوق نحو 0.33، لأن قيمة المنقطع نصف كلفة التواصل المهدر.","why":"هذا يعكس المنطق؛ فالإيجابيات الكاذبة المكلفة تدفع العتبة إلى الأعلى، لا إلى الأسفل."}],"answer":0},{"q":"

في بيانات الأرقام (digits)، 10% من الصور تمثّل الرقم 9. يحقق نموذج accuracy بنسبة 98%. ماذا يجب أن تعرض بجانبها؟

","options":[{"text":"لا شيء؛ 98% ممتازة لأي مسألة.","why":"التنبؤ بـ “ليس 9” لكل شيء يحقق 90% أصلًا، فالـ 98% تحتاج إلى سياق."},{"text":"الـ precision والـ recall لفئة الرقم 9، إضافة إلى خط أساس الفئة الأكثر شيوعًا البالغ 90%.","why":"صحيح. هذه تبيّن كم 9 يُعثر عليه وكم إنذارًا كاذبًا، وهو ما تُخفيه الـ accuracy."},{"text":"دقة التدريب، لتُظهر أنه لا يوجد overfitting.","why":"مفيدة بشكل عام، لكنها لا تقول شيئًا عن مدى إحسان التعامل مع الفئة النادرة."}],"answer":1},{"q":"

لماذا يُعدّ اختيار العتبة التي تعظّم الربح على بيانات الاختبار خطأً؟

","options":[{"text":"لأن العتبات لا يمكن اختيارها إلا قبل التدريب.","why":"تُطبَّق العتبات بعد التدريب؛ واختيار إحداها لاحقًا أمر طبيعي. المشكلة في البيانات التي تختارها عليها."},{"text":"لأن الربح ليس مقياسًا صالحًا في تعلّم الآلة.","why":"أي دالة في التنبؤات والنتائج يمكن أن تكون مقياسًا؛ ومقياس العمل كثيرًا ما يكون الأفضل."},{"text":"لأن العتبة تصبح hyperparameter مضبوطًا، فيكون الربح الذي تُبلغ عنه على الاختبار متفائلًا.","why":"صحيح. اخترها بالتحقق المتقاطع على بيانات التدريب، ثم قِس مرة واحدة على بيانات الاختبار."}],"answer":2}],"exercise":{"kind":"python","files":["churn.csv"],"starter":"import numpy as np\nimport pandas as pd\nfrom sklearn.linear_model import LogisticRegression\nfrom sklearn.metrics import make_scorer\nfrom sklearn.model_selection import TunedThresholdClassifierCV, train_test_split\nfrom sklearn.pipeline import make_pipeline\nfrom sklearn.preprocessing import StandardScaler\n\nchurn = pd.read_csv(\"churn.csv\")\nfeatures = [\"tenure_days\", \"orders\", \"total_spent\", \"avg_order_value\",\n \"days_since_last_order\", \"used_coupon\", \"support_tickets\", \"mobile_share\"]\nX_train, X_test, y_train, y_test = train_test_split(\n churn[features], churn[\"churned\"], test_size=0.25, random_state=42,\n stratify=churn[\"churned\"])\n\n# 1. Email campaign economics: each contacted churner is worth +16, each contacted stayer costs -4.\ndef profit(y_true, y_pred):\n return 0\n\n# 2. Tune the threshold of a StandardScaler + LogisticRegression pipeline for profit (cv=5)\ntuned = None\n\n# 3. Test-set profit at the default 0.5 threshold and at the tuned threshold\nprofit_default = None\nprofit_tuned = None\n","solution":"import numpy as np\nimport pandas as pd\nfrom sklearn.linear_model import LogisticRegression\nfrom sklearn.metrics import make_scorer\nfrom sklearn.model_selection import TunedThresholdClassifierCV, train_test_split\nfrom sklearn.pipeline import make_pipeline\nfrom sklearn.preprocessing import StandardScaler\n\nchurn = pd.read_csv(\"churn.csv\")\nfeatures = [\"tenure_days\", \"orders\", \"total_spent\", \"avg_order_value\",\n \"days_since_last_order\", \"used_coupon\", \"support_tickets\", \"mobile_share\"]\nX_train, X_test, y_train, y_test = train_test_split(\n churn[features], churn[\"churned\"], test_size=0.25, random_state=42,\n stratify=churn[\"churned\"])\n\ndef profit(y_true, y_pred):\n y_true, y_pred = np.asarray(y_true), np.asarray(y_pred)\n tp = ((y_pred == 1) & (y_true == 1)).sum()\n fp = ((y_pred == 1) & (y_true == 0)).sum()\n return 16 * tp - 4 * fp\n\nbase = make_pipeline(StandardScaler(), LogisticRegression())\ntuned = TunedThresholdClassifierCV(base, scoring=make_scorer(profit), cv=5).fit(X_train, y_train)\n\ndefault = make_pipeline(StandardScaler(), LogisticRegression()).fit(X_train, y_train)\nprofit_default = profit(y_test, default.predict(X_test))\nprofit_tuned = profit(y_test, tuned.predict(X_test))\nprint(round(tuned.best_threshold_, 2), profit_default, profit_tuned)\n","checks":[{"id":"profit-fn","test":"int(profit([1, 1, 0, 0, 1], [1, 0, 1, 1, 1])) == 16 * 2 - 4 * 2 and int(profit([0, 1], [0, 0])) == 0"},{"id":"tuned","test":"tuned is not None and hasattr(tuned, 'best_threshold_') and float(tuned.best_threshold_) < 0.5"},{"id":"default-profit","test":"profit_default is not None and int(profit_default) == int(profit(y_test, (__import__('sklearn.pipeline', fromlist=['x']).make_pipeline(__import__('sklearn.preprocessing', fromlist=['x']).StandardScaler(), __import__('sklearn.linear_model', fromlist=['x']).LogisticRegression()).fit(X_train, y_train).predict_proba(X_test)[:, 1] >= 0.5).astype(int)))"},{"id":"tuned-profit","test":"profit_tuned is not None and int(profit_tuned) == int(profit(y_test, tuned.predict(X_test))) and int(profit_tuned) > int(profit_default)"}],"title":"اضبط العتبة لبريد إلكتروني رخيص","prompt":"

انتقل فريق التسويق من المكالمات الهاتفية إلى بريد إلكتروني رخيص. الآن كل منقطع نتواصل معه يساوي في المتوسط +16، وكل عميل وفيّ نتواصل معه يكلّف 4.

\n
    \n
  1. اكتب profit(y_true, y_pred) التي تُعيد 16 * TP - 4 * FP.
    2. \n
  2. tuned: نموذج TunedThresholdClassifierCV يغلّف pipeline من StandardScaler + LogisticRegression، ويُقيَّم بـ make_scorer(profit) وcv=5، ومدرَّب على بيانات التدريب.
    3. \n
  3. profit_default: ربح الـ pipeline نفسه على بيانات الاختبار مع العتبة الافتراضية 0.5. وprofit_tuned: ربح tuned على بيانات الاختبار.
    4. \n
\n","hints":["حوّل المدخلين بـ np.asarray، ثم عُدّ (y_pred == 1) & (y_true == 1) لـ TP و(y_pred == 1) & (y_true == 0) لـ FP.","TunedThresholdClassifierCV(base, scoring=make_scorer(profit), cv=5).fit(X_train, y_train)","للقيمة الافتراضية، درّب pipeline جديدًا ومرّر predict(X_test) الخاصة به إلى profit."],"explanation":"

حين يكون التواصل رخيصًا والمنقطع المُنقذ ثمينًا، يُجدي أن ترمي شبكة أوسع، فتنخفض العتبة المضبوطة إلى ما دون 0.5 بكثير (نقطة التعادل مع احتمالات معايَرة ستكون 0.2). يتواصل النموذج المضبوط مع عملاء أكثر ويربح أكثر على بيانات الاختبار. النموذج نفسه والاحتمالات نفسها: لم تتغيّر إلا السياسة، المختارة من الحسابات الاقتصادية على بيانات التدريب.

\n","checkLabels":{"profit-fn":"profit تُعيد 16·TP − 4·FP","tuned":"tuned مدرَّب وعتبته أقل من 0.5","default-profit":"profit_default هو ربح الاختبار عند العتبة 0.5","tuned-profit":"profit_tuned هو ربح النموذج المضبوط على الاختبار، وهو يتفوّق على الافتراضي"}},"words":627,"readMinutes":4}