{"id":"l-ml-5-4","courseId":"ml-crash-course","lang":"ar","kind":"lesson","summary":"افحص أخطاء النموذج مجموعةً مجموعة، واختر معيار إنصاف يطابق الضرر، وراقب المدخلات والتنبؤات والنتائج كي تلاحظ حين يبتعد العالم عن بيانات التدريب.","html":"

بلغ نموذجك البطل ROC AUC على الاختبار قدره 0.81. هذا رقم واحد لـ 100 عميل من ثماني دول وثلاث شرائح. ومن الممكن تمامًا أن يكون النموذج جيدًا في المتوسط وضعيفًا لمجموعة واحدة، وأن تكون تلك المجموعة هي الأقل قدرة على الشكوى. ومن الممكن أيضًا أن يكون نموذج كان جيدًا في أكتوبر مخطئًا بصمت في مارس. يغطي هذا الدرس الأمرين: الإنصاف (fairness) قبل الإطلاق، والانجراف (drift) بعده.

\n

من أين يأتي الانحياز

\n

نادرًا ما يكون الانحياز (bias) في النموذج سطرًا من الكود. إنه يصل مع البيانات ومع طريقة استخدام التنبؤات:

\n\n

فحص النموذج مجموعةً مجموعة

\n

لتفحص بإنصاف تحتاج إلى تنبؤات لعملاء كثيرين لم يتدرّب عليهم النموذج. تعطي cross_val_predict كل صف تنبؤًا خارج الطيّة: فكل عميل يُقيَّم بنموذج تدرّب على الطيّات الأخرى.

\n
Python
import pandas as pd\nfrom sklearn.linear_model import LogisticRegression\nfrom sklearn.metrics import precision_score, recall_score\nfrom sklearn.model_selection import StratifiedKFold, cross_val_predict\nfrom sklearn.pipeline import make_pipeline\nfrom sklearn.preprocessing import StandardScaler\n\nchurn = pd.read_csv(\"churn.csv\")\nfeatures = [\"tenure_days\", \"orders\", \"total_spent\", \"avg_order_value\",\n            \"days_since_last_order\", \"used_coupon\", \"support_tickets\", \"mobile_share\"]\ncv = StratifiedKFold(n_splits=5, shuffle=True, random_state=42)\nmodel = make_pipeline(StandardScaler(), LogisticRegression())\nprob = cross_val_predict(model, churn[features], churn[\"churned\"], cv=cv, method=\"predict_proba\")[:, 1]\naudit = churn.assign(flagged=(prob >= 0.5).astype(int))\n\ndef group_report(g):\n    return pd.Series({\n        \"customers\": len(g),\n        \"churn_rate\": g[\"churned\"].mean(),\n        \"flag_rate\": g[\"flagged\"].mean(),\n        \"recall\": recall_score(g[\"churned\"], g[\"flagged\"]),\n        \"precision\": precision_score(g[\"churned\"], g[\"flagged\"]),\n    })\n\nprint(audit.groupby(\"segment\")[[\"churned\", \"flagged\"]].apply(group_report).round(2))\nprint(audit.groupby(\"country\")[[\"churned\", \"flagged\"]].apply(group_report).round(2))
\n

اقرأ عبر الأعمدة:

\n\n

تتراوح الـ recall بين 0.71 (كندا والإمارات والمملكة المتحدة) و0.82 (مصر والأردن). والـ precision للشركات الصغيرة 0.66 مقابل 0.78 للمستهلكين الأفراد. بعض الفجوات ضجيج: فأرقام الأردن تقوم على 17 عميلًا، فيحرّكها عميل واحد بعدة نقاط. وبعضها يستحق نظرة أدقّ مع نمو البيانات. ليس الغرض من الفحص ختم نجاح/رسوب؛ بل معرفة أين يكون النموذج أضعف، كي تقرّر ما إذا كان ذلك مقبولًا.

\n

اختيار معنى “المنصف”

\n

هناك عدة تعريفات معقولة، وحين تختلف النِّسب الأساسية بين المجموعات (تنقطع مصر بنسبة 67%، وألمانيا بنسبة 45%) لا يمكن أن تتحقق كلها معًا:

\n\n

اختر بأن تسأل من يتضرّر من أيّ خطأ. في عروض الاسترجاع، الضرر هو منقطع لا يصله العرض أبدًا، فتساوي الـ recall هو الهدف الطبيعي. وفي نموذج يجمّد الحسابات، الضرر هو الإيجابي الكاذب، فستنظر إلى معدّلات الإيجابيات الكاذبة بدلًا من ذلك. دوّن اختيارك؛ فهو قرار تجاري وأخلاقي، لا خيار تقني افتراضي.

\n\n

بعد الإطلاق: الانجراف

\n

تعلّم النموذج من العملاء كما كانوا في 30 سبتمبر 2025. والعالم يتحرّك. انجراف البيانات (data drift) تغيّر في المدخلات: تطبيق جوّال جديد يحرّك mobile_share، وإضراب شركة شحن يمطّ days_since_last_order. وانجراف المفهوم (concept drift) تغيّر في العلاقة نفسها: برنامج ولاء لدى منافس يجعل حتى العملاء الحديثين يرحلون. وللانقطاع تأخّر في الـ labels: فلا تعرف ما إذا كان التنبؤ صحيحًا إلا بعد 90 يومًا.

\n
\n حلقة من أربع مراحل. يوميًا: افحص توزيعات المدخلات مقابل بيانات التدريب. يوميًا: تتبّع حصة العملاء المُعلَّمين. بعد 90 يومًا: قارن التنبؤات بالنتائج الحقيقية. حين تفشل الفحوص: حقّق، ثم أعد التدريب والفحص، وهذا يعود إلى النموذج المُطلَق.\n \n النموذج المُطلَق\n \n فحوص انجراف المدخلات\n يوميًا، دون labels\n \n مزيج التنبؤات\n نسبة المُعلَّمين لكل مجموعة\n \n الأداء الحقيقي\n بعد 90 يومًا\n \n حقّق، وأعد التدريب والفحص\n \n \n \n \n \n
مراقبة نموذج انقطاع مُطلَق
\n

يمكن فحص انجراف المدخلات كل يوم، دون labels، بمقارنة القيم الحديثة لكل feature ببيانات التدريب. واختبار Kolmogorov–Smirnov للعيّنتين من SciPy بداية بسيطة:

\n
Python
import numpy as np\nimport pandas as pd\nfrom scipy.stats import ks_2samp\n\nchurn = pd.read_csv(\"churn.csv\")\nfeatures = [\"tenure_days\", \"orders\", \"total_spent\", \"avg_order_value\",\n            \"days_since_last_order\", \"used_coupon\", \"support_tickets\", \"mobile_share\"]\ntraining = churn[features]\n\n# Simulate next quarter: a courier problem delays orders and a new app shifts shopping to mobile\nrng = np.random.default_rng(7)\nrecent = training.sample(150, random_state=1).copy()\nrecent[\"days_since_last_order\"] += rng.integers(20, 60, len(recent))\nrecent[\"mobile_share\"] = (recent[\"mobile_share\"] + 0.3).clip(0, 1)\n\nfor col in features:\n    stat, p = ks_2samp(training[col], recent[col])\n    flag = \"DRIFT\" if p < 0.01 else \"\"\n    print(f\"{col:22} KS {stat:.2f}  p={p:.3g} {flag}\")
\n

يضيء العمودان اللذان تغيّرا؛ ولا يضيء الباقي. في بيئة الإنتاج ستشغّل هذا وفق جدول زمني، وتطلق تنبيهًا على الانجراف المستمر لا على يوم سيئ واحد، وتقرنه بنسبة العملاء المُعلَّمين في كل مجموعة، ثم بالـ recall والـ precision لكل مجموعة حين تصل النتائج. وحين ينخفض الأداء الحقيقي، أعد التدريب على بيانات حديثة وأعد إجراء فحص هذا الدرس قبل إعادة الإطلاق.

\n\n

المراقبة تفترض أن النموذج يعمل في مكان ما. يحزم الدرس الأخير الـ pipeline البطل، ويضعه خلف API، ويغلق الحلقة.

\n","toc":[{"id":"sec-1","text":"من أين يأتي الانحياز","level":2},{"id":"sec-2","text":"فحص النموذج مجموعةً مجموعة","level":2},{"id":"sec-3","text":"اختيار معنى “المنصف”","level":2},{"id":"sec-4","text":"بعد الإطلاق: الانجراف","level":2}],"takeaways":["يدخل الانحياز عبر البيانات (labels تاريخية، ومجموعات ممثّلة تمثيلًا ناقصًا، وfeatures بديلة) وعبر طريقة استخدام التنبؤات؛ والنتيجة الإجمالية الجيدة قد تُخفي نتيجة سيئة لمجموعة واحدة.","افحص بمقاييس لكل مجموعة: نسبة الاختيار، والـ recall، والـ precision، محسوبة على تنبؤات خارج الطيّة (out-of-fold) أو على بيانات الاختبار.","تعريفات الإنصاف مثل تساوي نِسب الاختيار وتساوي الـ recall وتساوي الـ precision لا يمكن عادةً أن تتحقق كلها معًا؛ فاختر التعريف الذي يطابق من يتضرّر من أيّ خطأ.","حذف العمود الحسّاس لا يزيل الانحياز، لأن features أخرى تعمل كبدائل عنه؛ فأبقِه متاحًا للفحص.","راقب ثلاثة أشياء بعد الإطلاق: توزيعات المدخلات (data drift)، وتوزيع التنبؤات، والأداء الحقيقي حين تصل النتائج."],"further":[{"title":"cross_val_predict","url":"https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.cross_val_predict.html"},{"title":"Model evaluation: classification metrics","url":"https://scikit-learn.org/stable/modules/model_evaluation.html#classification-metrics"}],"quiz":[{"q":"

الـ recall لنموذج الانقطاع 0.82 للعملاء المصريين و0.71 للعملاء الكنديين. وعروض الاسترجاع تذهب إلى العملاء المُعلَّمين. من المتضرّر؟

","options":[{"text":"المنقطعون الكنديون، فاحتمال تعليمهم وتقديم عرض لهم أقل.","why":"صحيح. انخفاض الـ recall يعني أن عددًا أكبر من المنقطعين الكنديين يفوت النموذج، فيحصل عدد أقل منهم على الفائدة."},{"text":"العملاء المصريون، لأن عددًا أكبر منهم يُعلَّم.","why":"أن يُعلَّم العميل هنا يعني أن يتلقّى عرضًا، وهو فائدة لا عقوبة."},{"text":"لا أحد، لأن الـ recall الإجمالية جيدة.","why":"المتوسط الإجمالي قد يُخفي مجموعة تُخدم بشكل أسوأ باستمرار."},{"text":"العملاء الكنديون الذين بقوا، لأنهم يُعلَّمون أكثر.","why":"هذا يتعلّق بالإيجابيات الكاذبة (الـ precision أو معدّل الإيجابيات الكاذبة)، لا بالـ recall."}],"answer":0},{"q":"

يحذف زميلك country من الـ features ‘ليجعل النموذج منصفًا’. لماذا لا يكفي ذلك؟

","options":[{"text":"لأن حذف عمود يخفض الـ accuracy دائمًا إلى ما دون خط الأساس.","why":"قد يغيّر الـ accuracy قليلًا أو لا يغيّرها إطلاقًا؛ ومسألة الإنصاف منفصلة."},{"text":"لأن features أخرى، مثل رسوم الشحن أو أزمنة التوصيل، قد تحمل المعلومة نفسها، ولم يعد بإمكانك الفحص بحسب الدولة.","why":"صحيح. البدائل تُعيد الانحياز، ودون العمود لا تستطيع قياس ما إذا كان قد عاد."},{"text":"لأن scikit-learn يشترط بقاء السمات الحسّاسة في النموذج.","why":"لا يوجد شرط كهذا؛ المسألة تتعلّق بالبدائل والفحص."}],"answer":1},{"q":"

بعد شهرين من الإطلاق، ترتفع حصة العملاء المُعلَّمين كمنقطعين من 47% إلى 60%، لكن لا نتائج انقطاع معروفة بعد. ما أفضل خطوة أولى؟

","options":[{"text":"أعد التدريب فورًا على أحدث البيانات.","why":"ليست لديك labels جديدة بعد، ولا تعرف ما إذا كان النموذج هو الذي تغيّر أم العالم."},{"text":"اخفض العتبة كي تعود نسبة العملاء المُعلَّمين إلى 47%.","why":"هذا يُخفي الإشارة بدل أن يفسّرها."},{"text":"تجاهل الأمر حتى تصل نتائج الـ 90 يومًا.","why":"انتظار ثلاثة أشهر لمشكلة يمكنك التحقيق فيها اليوم أمر مكلف."},{"text":"قارن توزيعات المدخلات الحالية ببيانات التدريب لتعرف أيّ الـ features تحرّك، ثم اسأل الفرق المعنية في الشركة عن السبب.","why":"صحيح. فحوص انجراف البيانات تعمل دون labels وتشير عادةً إلى سبب، مثل مشكلة في التوصيل أو تطبيق جديد."}],"answer":3}],"exercise":{"kind":"python","files":["churn.csv"],"starter":"import numpy as np\nimport pandas as pd\nfrom scipy.stats import ks_2samp\nfrom sklearn.linear_model import LogisticRegression\nfrom sklearn.metrics import precision_score, recall_score\nfrom sklearn.model_selection import StratifiedKFold, cross_val_predict\nfrom sklearn.pipeline import make_pipeline\nfrom sklearn.preprocessing import StandardScaler\n\nchurn = pd.read_csv(\"churn.csv\")\nfeatures = [\"tenure_days\", \"orders\", \"total_spent\", \"avg_order_value\",\n \"days_since_last_order\", \"used_coupon\", \"support_tickets\", \"mobile_share\"]\ncv = StratifiedKFold(n_splits=5, shuffle=True, random_state=42)\nmodel = make_pipeline(StandardScaler(), LogisticRegression())\n\n# Next quarter's customers (simulated): a premium range lifted basket sizes and a returns policy change caused more tickets\nrng = np.random.default_rng(3)\nrecent = churn[features].sample(150, random_state=2).copy()\nrecent[\"avg_order_value\"] *= 1.6\nrecent[\"support_tickets\"] += rng.integers(1, 3, len(recent))\n\n# 1. Out-of-fold churn flags (threshold 0.5) for every customer, using cross_val_predict\nflagged = None\n\n# 2. Recall per segment (a Series indexed by segment), and the segment with the lowest recall\nrecall_by_segment = None\nlowest_recall_segment = None\n\n# 3. Columns of `recent` whose distribution differs from churn[features] (KS test p < 0.01), as a list\ndrifted = []\n","solution":"import numpy as np\nimport pandas as pd\nfrom scipy.stats import ks_2samp\nfrom sklearn.linear_model import LogisticRegression\nfrom sklearn.metrics import precision_score, recall_score\nfrom sklearn.model_selection import StratifiedKFold, cross_val_predict\nfrom sklearn.pipeline import make_pipeline\nfrom sklearn.preprocessing import StandardScaler\n\nchurn = pd.read_csv(\"churn.csv\")\nfeatures = [\"tenure_days\", \"orders\", \"total_spent\", \"avg_order_value\",\n \"days_since_last_order\", \"used_coupon\", \"support_tickets\", \"mobile_share\"]\ncv = StratifiedKFold(n_splits=5, shuffle=True, random_state=42)\nmodel = make_pipeline(StandardScaler(), LogisticRegression())\n\n# Next quarter's customers (simulated): a premium range lifted basket sizes and a returns policy change caused more tickets\nrng = np.random.default_rng(3)\nrecent = churn[features].sample(150, random_state=2).copy()\nrecent[\"avg_order_value\"] *= 1.6\nrecent[\"support_tickets\"] += rng.integers(1, 3, len(recent))\n\nprob = cross_val_predict(model, churn[features], churn[\"churned\"], cv=cv, method=\"predict_proba\")[:, 1]\nflagged = (prob >= 0.5).astype(int)\n\naudit = churn.assign(flagged=flagged)\nrecall_by_segment = audit.groupby(\"segment\")[[\"churned\", \"flagged\"]].apply(\n lambda g: recall_score(g[\"churned\"], g[\"flagged\"]))\nlowest_recall_segment = recall_by_segment.idxmin()\n\ndrifted = [c for c in features if ks_2samp(churn[c], recent[c]).pvalue < 0.01]\nprint(recall_by_segment.round(2).to_dict(), lowest_recall_segment, drifted)\n","checks":[{"id":"flags","test":"flagged is not None and len(flagged) == 398 and set(np.unique(flagged)) <= {0, 1} and abs(int(np.sum(flagged)) - 218) <= 2"},{"id":"recall","test":"recall_by_segment is not None and set(recall_by_segment.index) == {'consumer', 'enterprise', 'small_business'} and abs(float(recall_by_segment['consumer']) - 0.7582) < 0.01"},{"id":"lowest","test":"lowest_recall_segment == 'enterprise'"},{"id":"drift","test":"sorted(drifted) == ['avg_order_value', 'support_tickets']"}],"title":"افحص بحسب الشريحة، ثم تحقّق من الانجراف","prompt":"
    \n
  1. flagged: علامة انقطاع 0/1 خارج الطيّة لكل عميل، من cross_val_predict(model, ..., cv=cv, method="predict_proba") وعتبة 0.5.
    2. \n
  2. recall_by_segment: الـ recall لهذه العلامات داخل كل segment (كـ Series فهرسها الشريحة). وlowest_recall_segment: الشريحة التي يُلتقط منقطعوها بأقل نسبة.
    3. \n
  3. drifted: قائمة أسماء الـ features التي يختلف فيها recent عن churn[features] بحسب اختبار KS للعيّنتين مع p < 0.01.
    4. \n
\n","hints":["يعطيك cross_val_predict(...)[:, 1] عمود احتمالات الانقطاع؛ قارنه بـ 0.5 وحوّله بـ .astype(int).","أضف العلامات كعمود، ثم audit.groupby("segment")[["churned", "flagged"]].apply(lambda g: recall_score(g["churned"], g["flagged"])).","ks_2samp(churn[c], recent[c]).pvalue لكل c في features؛ واحتفظ بما هو أقل من 0.01."],"explanation":"

تتيح لك التنبؤات خارج الطيّة فحص العملاء الـ 398 كلهم دون تقييم أي منهم بنموذج تدرّب عليه. منقطعو الشركات الكبيرة هم الأقل التقاطًا (نحو 0.71، مقابل 0.76 للمستهلكين الأفراد)، لكن مع 24 عميلًا فقط من الشركات الكبيرة، تحتاج هذه الفجوة إلى بيانات أكثر قبل أن يتصرّف أحد بناءً عليها. وتلتقط فحوص KS بالضبط العمودين اللذين غيّرتهما المحاكاة: متوسط قيمة الطلب وتذاكر الدعم. هذا هو الإنذار المبكر الذي ستحصل عليه قبل أشهر من أن تؤكد نتائج الانقطاع تراجع الأداء.

\n","checkLabels":{"flags":"يحتوي flagged على علامات 0/1 خارج الطيّة للعملاء الـ 398 كلهم","recall":"يحتوي recall_by_segment على الـ recall لكل شريحة","lowest":"يسمّي lowest_recall_segment الشريحة الأضعف","drift":"يسرد drifted الأعمدة المنزاحة بالضبط"}},"words":717,"readMinutes":4}