طوال القسم 3 جاءت كل مقارنة مع تحفّظ: “على 100 عميل اختبار، النقطتان تعنيان عميلين”. حققت الغابة 0.76، والـ boosting 0.78، والانحدار اللوجستي 0.72. فهل كان الـ boosting أفضل حقًا، أم حالفه الحظ مع بيانات الاختبار؟ تقسيم واحد لا يستطيع أن يخبرك. تحتاج إلى عدة تقسيمات، وهذا ما يمنحك إياه التحقق المتقاطع (cross-validation).
\nيقطّع التحقق المتقاطع k-fold بيانات التدريب إلى k طيّة متساوية (5 هي القيمة الافتراضية المعتادة). ويدرّب k نموذجًا: كلٌّ منها يتعلّم من k−1 طيّة ويُقيَّم على الطيّة التي لم يرَها. ينتهي بك الأمر بـ k نتيجة، وكل صف تدريب يكون قد وقع في طيّة تحقق مرة واحدة بالضبط.
\nمتوسط النتائج الـ k تقدير أثبت من أي تقسيم منفرد. والتشتّت بينها لا يقل قيمة: فهو يبيّن كم يمكن أن تتحرك النتيجة لأسباب لا علاقة لها بالنموذج.
\nتنفّذ cross_val_score الحلقة كلها لمقياس واحد؛ وتتعامل cross_validate مع عدة مقاييس دفعة واحدة. في التصنيف، مرّر StratifiedKFold مع shuffle=True كي تحافظ كل طيّة على نسبة الانقطاع البالغة 55% وتُخلط الصفوف أولًا. أنشئ الـ splitter مرة واحدة وأعد استخدامه لكل نموذج كي تواجه كلها الطيّات نفسها تمامًا.
import pandas as pd\nfrom sklearn.dummy import DummyClassifier\nfrom sklearn.ensemble import HistGradientBoostingClassifier, RandomForestClassifier\nfrom sklearn.linear_model import LogisticRegression\nfrom sklearn.model_selection import StratifiedKFold, cross_validate, train_test_split\nfrom sklearn.pipeline import make_pipeline\nfrom sklearn.preprocessing import StandardScaler\nfrom sklearn.tree import DecisionTreeClassifier\n\nchurn = pd.read_csv(\"churn.csv\")\nfeatures = [\"tenure_days\", \"orders\", \"total_spent\", \"avg_order_value\",\n \"days_since_last_order\", \"used_coupon\", \"support_tickets\", \"mobile_share\"]\nX_train, X_test, y_train, y_test = train_test_split(\n churn[features], churn[\"churned\"], test_size=0.25, random_state=42,\n stratify=churn[\"churned\"])\n\ncv = StratifiedKFold(n_splits=5, shuffle=True, random_state=42)\nmodels = {\n \"dummy\": DummyClassifier(),\n \"logistic\": make_pipeline(StandardScaler(), LogisticRegression()),\n \"tree depth 3\": DecisionTreeClassifier(max_depth=3, random_state=42),\n \"forest\": RandomForestClassifier(n_estimators=200, min_samples_leaf=5, random_state=42),\n \"boosting\": HistGradientBoostingClassifier(max_depth=3, learning_rate=0.05,\n max_iter=100, random_state=42),\n}\nfor name, model in models.items():\n r = cross_validate(model, X_train, y_train, cv=cv, scoring=[\"accuracy\", \"roc_auc\"])\n acc, auc = r[\"test_accuracy\"], r[\"test_roc_auc\"]\n print(f\"{name:13} accuracy {acc.mean():.3f} ± {acc.std():.3f} ROC AUC {auc.mean():.3f} ± {auc.std():.3f}\")اقرأ التشتّت أولًا. تتراوح دقة الانحدار اللوجستي بين 0.68 و0.81 عبر الطيّات، وهذا تأرجح بـ 13 نقطة لا سبب له إلا أيّ العملاء وقع في أيّ طيّة. وفي مواجهة هذا الضجيج، لا تعني فروق الـ accuracy بين النماذج الحقيقية الأربعة (من 0.73 إلى 0.76) شيئًا يُذكر: فكل فجوة أصغر من انحراف معياري واحد.
\nأما الـ ROC AUC، الذي يقيّم الترتيب كاملًا، فأكثر حسمًا: يقف الانحدار اللوجستي والغابة عند نحو 0.81، والـ boosting عند نحو 0.79، وتتأخر الشجرة بعمق 3 عند 0.74 مع أكبر تشتّت. هذا نمط يمكنك التصرّف بناءً عليه.
\nبالنسبة إلى قاعدة الـ 80 يومًا، يعني التحقق المتقاطع إعادة اختيار الحدّ الفاصل على كل مجموعة من طيّات التدريب وتقييمه على الطيّة المحجوزة. وبهذه الطريقة يبلغ متوسطها 0.70 من الـ accuracy. وكل نموذج حقيقي يتفوّق عليها، ببضع نقاط.
\nمجتمعةً، يحكي التحقق المتقاطع قصة أهدأ مما حكاه التقسيم الواحد في القسم 3. كانت دقة الـ boosting البالغة 0.78 على الاختبار حظًا جزئيًا؛ فعبر خمس طيّات هي 0.75، ضمن هامش الضجيج مع كل ما عداها، وهو يرتّب أسوأ من الانحدار اللوجستي. والغابة والانحدار اللوجستي متعادلان في الترتيب. ومع التعادل، فضّل النموذج الأبسط: الانحدار اللوجستي يتدرّب في أجزاء من الثانية، ومعاملاته قابلة للشرح، ولا شيء فيه يُضبط سوى C.
هذه هي مكافأة المتشكّك. فبدون التحقق المتقاطع كنت ستطلق الـ boosting بسبب رقم حالفه الحظ.
\n\nحتى الآن استخدم كل نموذج الأعمدة الرقمية الثمانية. لكن البيانات تحتوي أيضًا على الدول والشرائح ودرجة رضا نصف فارغة تحتاج إلى ترميز وملء قبل أي شيء. يبني الدرس القادم pipeline يفعل كل ذلك داخل كل طيّة، فيبقى التحقق المتقاطع أمينًا.
\n","toc":[{"id":"sec-1","text":"خمسة تقسيمات بدل واحد","level":2},{"id":"sec-2","text":"التحقق المتقاطع لنماذج الانقطاع","level":2},{"id":"sec-3","text":"ما الذي يمكنك استنتاجه","level":2},{"id":"sec-4","text":"اختيار k، وما لا يصلحه التحقق المتقاطع","level":2}],"takeaways":["يدرّب التحقق المتقاطع k-fold عدد k من النماذج، كلٌّ منها يُقيَّم على طيّة (fold) مختلفة، فيُستخدم كل صف تدريب للتحقق مرة واحدة بالضبط.","متوسط نتائج الطيّات يقدّر الأداء؛ وانحرافها المعياري يخبرك كم يمكن أن يضلّلك تقسيم واحد.","استخدمStratifiedKFold مع shuffle=True وrandom_state ثابت في التصنيف، ومرّر الـ splitter نفسه إلى كل نموذج تقارنه.","تُعيد cross_validate عدة مقاييس دفعة واحدة، إضافة إلى أزمنة التدريب والتقييم.","طبّق التحقق المتقاطع على بيانات التدريب لتختار؛ واحتفظ ببيانات الاختبار لفحص نهائي واحد."],"further":[{"title":"Cross-validation: evaluating estimator performance","url":"https://scikit-learn.org/stable/modules/cross_validation.html"},{"title":"cross_validate","url":"https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.cross_validate.html"},{"title":"StratifiedKFold","url":"https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.StratifiedKFold.html"}],"quiz":[{"q":"في تحقق متقاطع من 5 طيّات على 298 صف تدريب، كم نموذجًا يُدرَّب، وعلى كم صفًا يتدرّب كلٌّ منها؟
","options":[{"text":"نموذج واحد، مدرَّب على الصفوف الـ 298 كلها ومقيَّم خمس مرات.","why":"تقييم نموذج واحد خمس مرات على بيانات تدرّب عليها يقيس الحفظ، لا التعميم."},{"text":"خمسة نماذج، كلٌّ منها مدرَّب على نحو 60 صفًا ومقيَّم على البقية.","why":"هذا معكوس. كل نموذج يُقيَّم على طيّة واحدة (نحو 60 صفًا) ويتدرّب على الطيّات الأربع الأخرى."},{"text":"خمسة نماذج، كلٌّ منها مدرَّب على نحو 238 صفًا ومقيَّم على الـ 60 المتبقية.","why":"صحيح. كل صف يقع في طيّة التحقق مرة واحدة، وفي طيّات التدريب أربع مرات."},{"text":"خمسة وعشرون نموذجًا، واحد لكل زوج من الطيّات.","why":"يدرّب الـ k-fold العادي نموذجًا واحدًا لكل طيّة. المخططات المكرّرة أو المتداخلة تدرّب أكثر، لكن هذا ليس منها."}],"answer":2},{"q":"يحقق النموذج A دقة 0.75 ± 0.04 عبر خمس طيّات؛ ويحقق النموذج B دقة 0.73 ± 0.05. ما الاستنتاج المنصف؟
","options":[{"text":"الفرق صغير مقارنةً بالتشتّت بين الطيّات، فعاملهما على أنهما شبه متعادلين.","why":"صحيح. فجوة نقطتين داخل تشتّت من أربع إلى خمس نقاط قد تنقلب بسهولة مع خلط آخر."},{"text":"A أفضل بوضوح، لأن متوسطه أعلى.","why":"المتوسطات وحدها تتجاهل الضجيج. ومع تشتّت بهذا الحجم، لا يكون الترتيب موثوقًا."},{"text":"B أفضل، لأن الانحراف المعياري الأكبر يعني أنه يتكيّف أكثر.","why":"التشتّت الأكبر يعني أداءً أقل استقرارًا، لا نقطة قوة."}],"answer":0},{"q":"لماذا تستخدم كائن StratifiedKFold(..., random_state=42) نفسه لكل نموذج تقارنه؟
بعد أن يختار التحقق المتقاطع الانحدار اللوجستي، ماذا يجب أن تفعل ببيانات الاختبار؟
","options":[{"text":"أضفها إلى التحقق المتقاطع لتحصل على طيّات أكثر.","why":"عندها لا يبقى شيء لتقدير نهائي غير منحاز."},{"text":"درّب النموذج المختار على بيانات التدريب كلها وقيّمه على بيانات الاختبار مرة واحدة.","why":"صحيح. نتيجة الاختبار هي الرقم الذي تنشره، ولم تؤثر في أي قرار."},{"text":"تخطّها، فنتيجة التحقق المتقاطع غير منحازة أصلًا.","why":"استُخدمت نتيجة التحقق المتقاطع للاختيار بين النماذج، فهي متفائلة قليلًا لصالح الفائز."}],"answer":1}],"exercise":{"kind":"python","files":["churn.csv"],"starter":"import pandas as pd\nfrom sklearn.linear_model import LogisticRegression\nfrom sklearn.model_selection import StratifiedKFold, cross_validate, train_test_split\nfrom sklearn.neighbors import KNeighborsClassifier\nfrom sklearn.pipeline import make_pipeline\nfrom sklearn.preprocessing import StandardScaler\n\nchurn = pd.read_csv(\"churn.csv\")\nfeatures = [\"tenure_days\", \"orders\", \"total_spent\", \"avg_order_value\",\n \"days_since_last_order\", \"used_coupon\", \"support_tickets\", \"mobile_share\"]\nX_train, X_test, y_train, y_test = train_test_split(\n churn[features], churn[\"churned\"], test_size=0.25, random_state=42,\n stratify=churn[\"churned\"])\n\ncv = StratifiedKFold(n_splits=5, shuffle=True, random_state=42)\n\n# 1. Cross-validate both models on the TRAINING data with the same `cv`,\n# scoring both \"accuracy\" and \"roc_auc\"\nlogistic = make_pipeline(StandardScaler(), LogisticRegression())\nknn = make_pipeline(StandardScaler(), KNeighborsClassifier(n_neighbors=15))\n\n# 2. Mean ROC AUC for each model, and the standard deviation of k-NN's fold AUCs\nlogistic_auc = None\nknn_auc = None\nknn_auc_std = None\n\n# 3. Fit the model with the higher mean AUC on all training data; score accuracy on the test set once\nfinal_test_acc = None\n","solution":"import pandas as pd\nfrom sklearn.linear_model import LogisticRegression\nfrom sklearn.model_selection import StratifiedKFold, cross_validate, train_test_split\nfrom sklearn.neighbors import KNeighborsClassifier\nfrom sklearn.pipeline import make_pipeline\nfrom sklearn.preprocessing import StandardScaler\n\nchurn = pd.read_csv(\"churn.csv\")\nfeatures = [\"tenure_days\", \"orders\", \"total_spent\", \"avg_order_value\",\n \"days_since_last_order\", \"used_coupon\", \"support_tickets\", \"mobile_share\"]\nX_train, X_test, y_train, y_test = train_test_split(\n churn[features], churn[\"churned\"], test_size=0.25, random_state=42,\n stratify=churn[\"churned\"])\n\ncv = StratifiedKFold(n_splits=5, shuffle=True, random_state=42)\n\nlogistic = make_pipeline(StandardScaler(), LogisticRegression())\nknn = make_pipeline(StandardScaler(), KNeighborsClassifier(n_neighbors=15))\n\nr_log = cross_validate(logistic, X_train, y_train, cv=cv, scoring=[\"accuracy\", \"roc_auc\"])\nr_knn = cross_validate(knn, X_train, y_train, cv=cv, scoring=[\"accuracy\", \"roc_auc\"])\n\nlogistic_auc = r_log[\"test_roc_auc\"].mean()\nknn_auc = r_knn[\"test_roc_auc\"].mean()\nknn_auc_std = r_knn[\"test_roc_auc\"].std()\n\nwinner = logistic if logistic_auc >= knn_auc else knn\nfinal_test_acc = winner.fit(X_train, y_train).score(X_test, y_test)\nprint(round(logistic_auc, 3), round(knn_auc, 3), round(knn_auc_std, 3), final_test_acc)\n","checks":[{"id":"logistic-auc","test":"logistic_auc is not None and abs(float(logistic_auc) - 0.807) < 0.002"},{"id":"knn-auc","test":"knn_auc is not None and abs(float(knn_auc) - float(__import__('sklearn.model_selection', fromlist=['x']).cross_val_score(__import__('sklearn.pipeline', fromlist=['x']).make_pipeline(__import__('sklearn.preprocessing', fromlist=['x']).StandardScaler(), __import__('sklearn.neighbors', fromlist=['x']).KNeighborsClassifier(n_neighbors=15)), X_train, y_train, cv=__import__('sklearn.model_selection', fromlist=['x']).StratifiedKFold(n_splits=5, shuffle=True, random_state=42), scoring='roc_auc').mean())) < 1e-6"},{"id":"knn-std","test":"knn_auc_std is not None and abs(float(knn_auc_std) - float(__import__('sklearn.model_selection', fromlist=['x']).cross_val_score(__import__('sklearn.pipeline', fromlist=['x']).make_pipeline(__import__('sklearn.preprocessing', fromlist=['x']).StandardScaler(), __import__('sklearn.neighbors', fromlist=['x']).KNeighborsClassifier(n_neighbors=15)), X_train, y_train, cv=__import__('sklearn.model_selection', fromlist=['x']).StratifiedKFold(n_splits=5, shuffle=True, random_state=42), scoring='roc_auc').std())) < 1e-6"},{"id":"final","test":"final_test_acc is not None and abs(float(final_test_acc) - 0.72) < 0.005"}],"title":"الانحدار اللوجستي أم k-NN؟","prompt":"احسم اختيار النموذج بالتحقق المتقاطع، ثم استخدم بيانات الاختبار مرة واحدة.
\nlogistic وknn على بيانات التدريب باستخدام cv المعطى، مع المقياسين "accuracy" و"roc_auc".logistic_auc وknn_auc: متوسط الـ ROC AUC لكل نموذج عبر الطيّات. وknn_auc_std: الانحراف المعياري لقيم AUC الخاصة بـ k-NN عبر الطيّات.final_test_acc: درّب النموذج صاحب متوسط AUC الأعلى على X_train كاملة، ثم احسب دقته على بيانات الاختبار.cross_validate(model, X_train, y_train, cv=cv, scoring=["accuracy", "roc_auc"]) قاموسًا فيه المصفوفة "test_roc_auc".","يعمل .mean() و.std() مباشرة على هذه المصفوفات.","اختر الفائز بعبارة if بسيطة، ثم winner.fit(X_train, y_train).score(X_test, y_test)."],"explanation":"يرتّب k-NN بعد توحيد المقاييس ومع 15 جارًا العملاءَ أسوأ قليلًا من الانحدار اللوجستي في المتوسط، وتتفاوت نتائج طيّاته بشكل ملحوظ. ولأن النموذجين واجها طيّات متطابقة، فالمقارنة عادلة. يُعاد تدريب الفائز على كل صفوف التدريب ويُقيَّم مرة واحدة على بيانات الاختبار (0.72): هذا هو الرقم الذي تنشره، ولم يكن له أي دور في الاختيار.
\n","checkLabels":{"logistic-auc":"logistic_auc هو متوسط الـ ROC AUC بالتحقق المتقاطع","knn-auc":"knn_auc هو متوسط الـ ROC AUC لـ k-NN على الطيّات نفسها","knn-std":"knn_auc_std هو تشتّت قيم AUC لـ k-NN عبر الطيّات","final":"final_test_acc هي دقة الفائز على بيانات الاختبار"}},"words":638,"readMinutes":4}