لكل عالم بيانات متمرّس قصة عن النموذج الذي كان أجمل من أن يُصدَّق. دقة 99% في الـ notebook، وأداء رمي العملة في بيئة الإنتاج. والسبب يكاد يكون دائمًا واحدًا: أثناء التدريب أو التقييم أُتيحت للنموذج معلومات لن تكون لديه في الواقع. هذا هو تسرّب البيانات (data leakage)، وهو خطير لأنه لا يبدو كخطأ برمجي. بل يبدو كنجاح.
\nجدول الانقطاع في Cartwheel لقطة زمنية (snapshot): كل feature يصف العميل كما كان في 30 سبتمبر 2025، وchurned يسجّل ما حدث في الـ 90 يومًا التالية. هذا الخط الزمني هو العقد الذي يعيش النموذج وفقه. ففي وقت التنبؤ، لا تعرف إلا ما حدث قبل اللقطة.
تخيّل الآن أن محلّلًا أعاد بناء الجدول في يناير وحسب days_since_last_order حتى تاريخ التصدير بدل تاريخ اللقطة. بالنسبة إلى المنقطعين، الذين لم يطلبوا شيئًا في النافذة، تكون القيمة أكبر بـ 92 يومًا. وبالنسبة إلى العملاء الذين بقوا، تكون صغيرة، لأنهم طلبوا مؤخرًا. صار العمود الآن يرمّز الإجابة:
import numpy as np\nimport pandas as pd\nfrom sklearn.linear_model import LogisticRegression\nfrom sklearn.model_selection import StratifiedKFold, cross_val_score\nfrom sklearn.pipeline import make_pipeline\nfrom sklearn.preprocessing import StandardScaler\n\nchurn = pd.read_csv(\"churn.csv\")\nfeatures = [\"tenure_days\", \"orders\", \"total_spent\", \"avg_order_value\",\n \"days_since_last_order\", \"used_coupon\", \"support_tickets\", \"mobile_share\"]\nrng = np.random.default_rng(1)\n# Recency measured at export time (year end), not at the 30 September snapshot\nchurn[\"recency_at_export\"] = np.where(churn[\"churned\"] == 1,\n churn[\"days_since_last_order\"] + 92,\n rng.integers(0, 92, len(churn)))\n\ncv = StratifiedKFold(n_splits=5, shuffle=True, random_state=42)\nmodel = make_pipeline(StandardScaler(), LogisticRegression())\nfor cols in [features, features + [\"recency_at_export\"]]:\n auc = cross_val_score(model, churn[cols], churn[\"churned\"], cv=cv, scoring=\"roc_auc\").mean()\n print(f\"{len(cols)} features: ROC AUC {auc:.3f}\")يقفز الـ ROC AUC من 0.81 إلى 0.999. لا شيء في الكود خاطئ؛ والتحقق المتقاطع مُنفَّذ كما ينبغي. التسرّب يكمن في طريقة بناء البيانات، ولهذا عليك أن تبحث عنه في تاريخ البيانات، لا في النموذج.
\nتسرّبات الهدف تختبئ خلف أسماء بريئة: account_status وlast_contact_reason وrefund_amount وtotal_orders (المحسوب عند التصدير، بما فيه من طلبات مستقبلية). والاختبار لكل عمود سؤال واحد: هل كنت سأعرف هذه القيمة، تمامًا كما هي مخزّنة، في اللحظة التي أُجري فيها التنبؤ؟
النوع الثاني من التسرّب يحدث في الكود. فأي خطوة تتعلّم من البيانات (توحيد المقاييس، والملء، والترميز، واختيار الـ features) يجب أن تتعلّم من صفوف التدريب وحدها. نفّذها على البيانات كلها أولًا وستكون صفوف التحقق قد شكّلت النموذج.
\nمع توحيد المقاييس، يكون الضرر صغيرًا عادةً. أما مع اختيار الـ features فقد يكون هائلًا. إليك مجموعة بيانات من الضجيج الصرف: 200 صف، و2,000 عمود عشوائي، وlabels عشوائية. لا ينبغي لأي نموذج أن يتجاوز 50%.
\nimport numpy as np\nfrom sklearn.feature_selection import SelectKBest, f_classif\nfrom sklearn.linear_model import LogisticRegression\nfrom sklearn.model_selection import StratifiedKFold, cross_val_score\nfrom sklearn.pipeline import make_pipeline\n\nrng = np.random.default_rng(0)\nX = rng.normal(size=(200, 2000))\ny = rng.integers(0, 2, size=200)\ncv = StratifiedKFold(n_splits=5, shuffle=True, random_state=42)\n\nX_selected = SelectKBest(f_classif, k=20).fit_transform(X, y) # selection saw every label\nleaky = cross_val_score(LogisticRegression(), X_selected, y, cv=cv).mean()\n\npipe = make_pipeline(SelectKBest(f_classif, k=20), LogisticRegression())\nhonest = cross_val_score(pipe, X, y, cv=cv).mean()\nprint(f\"select then CV: {leaky:.3f} select inside CV: {honest:.3f}\")الاختيار على الصفوف المئتين كلها يجد 20 عمودًا صادف أنها تتوافق مع labels كل صف، بما فيها الصفوف التي ستُستخدم لاحقًا للتحقق. ثم يؤكد التحقق المتقاطع نمطًا لا وجود له إلا لأنه اختير باستخدام تلك الصفوف نفسها: دقة 0.75 على ضجيج. وداخل pipeline، لا يرى الاختيار إلا طيّات التدريب، فتعود النتيجة إلى مستوى الصدفة.
\n\nالنوع الثالث يأتي من علاقة الصفوف ببعضها. التقسيمات العشوائية تفترض أن الصفوف مستقلة. وحين لا تكون كذلك، تحتوي بيانات الاختبار على نسخ شبه مطابقة لصفوف التدريب.
\nGroupKFold (أو GroupShuffleSplit) مع معرّف العميل كـ groups.TimeSeriesSplit، أو تاريخًا فاصلًا بسيطًا: درّب على الماضي، وتحقّق على الفترات اللاحقة.في جدول الانقطاع لدى Cartwheel صف واحد لكل عميل وتاريخ لقطة واحد، فالتقسيم العشوائي الطبقي مناسب. غيّر أيًّا من هذين ولن يعود كذلك.
\n\nمع إغلاق منافذ التسرّب، يمكنك الوثوق بالتحقق المتقاطع للحكم على الأفكار الجديدة، وأكثر الأفكار الجديدة إنتاجًا عادةً هي features أفضل. يبني الدرس القادم بعضها من المعرفة بمجال العمل ويختبر ما إذا كانت تستحق مكانها.
\n","toc":[{"id":"sec-1","text":"تسرّب الهدف: features من المستقبل","level":2},{"id":"sec-2","text":"المعالجة المسبقة قبل التقسيم","level":2},{"id":"sec-3","text":"صفوف يعرف بعضها بعضًا","level":2}],"takeaways":["تسرّب البيانات (data leakage) هو أي معلومة متاحة أثناء التدريب أو التقييم لن تكون متاحة حين يتنبأ النموذج فعليًا.","يأتي تسرّب الهدف من features سُجّلت بعد لحظة التنبؤ؛ فاسأل عن كل عمود: هل كنت سأعرف هذه القيمة وقت التنبؤ؟","تدريب scaler أو imputer أو أداة لاختيار الـ features قبل التقسيم يتيح لصفوف التحقق أن تشكّل النموذج؛ فضع كل خطوة متعلَّمة داخل pipeline.","حين تنتمي الصفوف إلى العميل نفسه أو يتبع بعضها بعضًا زمنيًا، استخدمGroupKFold أو TimeSeriesSplit بدل التقسيم العشوائي.","النتيجة التي تبدو أجمل من أن تُصدَّق، أو feature واحد يهيمن على الـ permutation importance، سبب للبحث عن تسرّب قبل الاحتفال."],"further":[{"title":"Common pitfalls: data leakage","url":"https://scikit-learn.org/stable/common_pitfalls.html#data-leakage"},{"title":"Cross-validation iterators for grouped data","url":"https://scikit-learn.org/stable/modules/cross_validation.html#group-k-fold"},{"title":"TimeSeriesSplit","url":"https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.TimeSeriesSplit.html"}],"quiz":[{"q":"أضاف زميلك refund_issued_in_q4 إلى features الانقطاع فقفز الـ ROC AUC من 0.81 إلى 0.97. والتنبؤ يتم في 30 سبتمبر. ما المشكلة؟
used_coupon). المشكلة في التوقيت، لا في النوع."},{"text":"لا شيء؛ فاسترداد الأموال محرّك معروف للانقطاع.","why":"قد يكون كذلك فعلًا، لكن النموذج لا يستطيع أن يستخدم إلا ما هو معروف وقت التنبؤ."},{"text":"النموذج يعاني من الـ overfitting ويحتاج إلى C أصغر.","why":"العقوبة الأقوى لن تمنع النموذج من استخدام feature يرمّز النتيجة."}],"answer":0},{"q":"على 2,000 عمود من الضجيج الصرف، يعطي اختيار أفضل 20 عمودًا على البيانات كلها ثم تطبيق التحقق المتقاطع دقة 0.75. وداخل pipeline يعطي 0.48. لماذا؟
","options":[{"text":"نسخة الـ pipeline تستخدم صفوف تدريب أقل، فهي أضعف.","why":"كلتاهما تستخدم الطيّات نفسها؛ والفرق في المكان الذي يحدث فيه الاختيار."},{"text":"الاختيار على كل الصفوف التقط أعمدة صادف أنها ترتبط بـ labels صفوف التحقق أيضًا، فكأن تلك الصفوف رُئيت أثناء التدريب.","why":"صحيح. داخل الـ pipeline لا يرى الاختيار إلا صفوف تدريب كل طيّة، فلا يستطيع الضجيج أن يتوافق مع labels التحقق."},{"text":"SelectKBest عشوائي، فاختار التشغيلان أعمدة مختلفة.","why":"SelectKBest حتمي؛ والفرق في الصفوف التي نظر إليها."}],"answer":1},{"q":"في سجلّ الطلبات عدة صفوف لكل عميل، وتريد التنبؤ على مستوى الطلب. أيّ splitter يتجنّب التسرّب بين الطيّات؟
","options":[{"text":"StratifiedKFold(shuffle=True)، لأنه يوازن الفئات.","why":"توازن الفئات لا يمنع وقوع طلبات العميل نفسه في طيّات التدريب والتحقق معًا."},{"text":"KFold(shuffle=False)، لتحافظ الصفوف على ترتيبها.","why":"الطيّات غير المخلوطة تظل تقسم صفوف العميل بين الطيّات حين لا تكون متجاورة."},{"text":"GroupKFold مع معرّف العميل كمجموعة، فتبقى صفوف كل عميل في طيّة واحدة.","why":"صحيح. عندها يُقيَّم النموذج دائمًا على عملاء لم يرَهم قط."}],"answer":2},{"q":"أيّ إشارة توحي بقوة بوجود تسرّب؟
","options":[{"text":"الـ accuracy بالتحقق المتقاطع أعلى من قاعدة خط الأساس ببضع نقاط.","why":"هكذا يبدو النموذج المتواضع الأمين."},{"text":"تتفاوت نتائج الطيّات بخمس نقاط.","why":"التفاوت يعكس صغر الطيّات والضجيج، لا التسرّب."},{"text":"دقة التدريب أعلى من دقة الاختبار.","why":"هذا طبيعي في معظم النماذج إن لم يكن كلها."},{"text":"feature غير مألوف يحمل الـ permutation importance كلها أو يكاد، والنتيجة قريبة من الكمال.","why":"صحيح. المسائل الحقيقية نادرًا ما يكون فيها متنبئ واحد شبه مثالي؛ وحين يظهر أحدها، تحقّق من متى وكيف سُجّل."}],"answer":3}],"exercise":{"kind":"spot-bug","language":"python","code":"import pandas as pd\nfrom sklearn.impute import SimpleImputer\nfrom sklearn.linear_model import LogisticRegression\nfrom sklearn.model_selection import cross_val_score, train_test_split\nfrom sklearn.pipeline import make_pipeline\nfrom sklearn.preprocessing import StandardScaler\n\nchurn = pd.read_csv(\"churn_export_january.csv\")\nchurn[\"lifetime_orders\"] = churn[\"orders\"] + churn[\"orders_oct_to_dec\"]\nX = churn.drop(columns=[\"customer_id\", \"churned\", \"country\", \"segment\", \"orders_oct_to_dec\"])\nX = SimpleImputer(strategy=\"median\").fit_transform(X)\ny = churn[\"churned\"]\nX_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.25, random_state=42, stratify=y)\nmodel = make_pipeline(StandardScaler(), LogisticRegression())\nprint(cross_val_score(model, X_train, y_train, cv=5, scoring=\"roc_auc\").mean())","bugLines":[9,11],"title":"اعثر على التسرّبات","prompt":"يعرض notebook زميلك للتنبؤ بانقطاع العملاء قيمة ROC AUC بالتحقق المتقاطع تبلغ 0.98. يتنبأ النموذج في 30 سبتمبر؛ وملف تصدير يناير يتضمّن أيضًا orders_oct_to_dec، أي الطلبات المقدَّمة بين أكتوبر وديسمبر. اختر كل سطر يسرّب معلومات لن تكون لدى النموذج وقت التنبؤ، أو يتيح لصفوف التحقق التأثير في التدريب.
fit أو fit_transform على البيانات قبل التقسيم.","هناك سطران فيهما تسرّب: واحد في البيانات، وواحد في الكود."],"explanation":"السطر 9 يبني feature من orders_oct_to_dec، الذي يغطي نافذة النتيجة البالغة 90 يومًا: العملاء المنقطعون لديهم صفر طلبات هناك بحكم التعريف، فيرمّز lifetime_orders الـ label جزئيًا. صحيح أن السطر 10 يحذف العمود الأصلي، لكن بعد فوات الأوان: قيمه باقية داخل lifetime_orders. احذف الـ feature المشتق أيضًا، أو احسب أي أعداد طلبات حتى تاريخ اللقطة فقط. السطر 11 يدرّب الـ imputer على كل الصفوف قبل التقسيم، فتدخل صفوف الاختبار والتحقق في حساب الوسيطات. انقله إلى داخل الـ pipeline بدلًا من ذلك:
model = make_pipeline(SimpleImputer(strategy=\"median\"), StandardScaler(), LogisticRegression())والباقي سليم: الـ scaler داخل الـ pipeline أصلًا، والتقسيم طبقي، والتحقق المتقاطع يعمل على جزء التدريب وحده.
\n","checkLabels":{}},"words":653,"readMinutes":4}