النموذج الذي يحقق 99% إما جيد جدًا وإما رأى الإجابات. ولا يمكنك معرفة أيّهما من الرقم وحده. أنفع عادة في تعلّم الآلة هي أن تضع جانبًا بيانات لا يراها النموذج أثناء التدريب، كي يكون لنتيجته عليها معنى.
\nكل مشروع تعلّم موجَّه ستعمل عليه يتبع الحلقة نفسها بشكل عام. الخطوات مملّة عن قصد؛ وتخطّي إحداها هو الطريقة التي تفشل بها المشاريع.
\nصُغ السؤال بدقة: ما الذي نتنبأ به، ولمن، وفي أيّ لحظة، وما الإجراء الذي سيتبع التنبؤ. بالنسبة إلى Cartwheel: “في 30 سبتمبر، لكل عميل طلب من قبل، تنبّأ بما إذا كان سيطلب خلال الـ 90 يومًا القادمة، كي يوجّه فريق التسويق عروض الاسترجاع”. اجمع أمثلة معروفة الإجابة: وهذا هو churn.csv. اقتطع جزءًا للاختبار. ابنِ خط أساس (baseline) (بعد درسين). درّب النماذج، وقيّمها، وكرّر، وعندها فقط أطلق النموذج وواصل مراقبته.
ينتظر scikit-learn شيئين: مصفوفة features اسمها X، فيها صف لكل مثال وعمود لكل feature، وهدفًا y فيه إجابة واحدة لكل صف. الـ DataFrame من pandas يصلح ليكون X، والـ Series يصلح ليكون y.
ستستخدم الآن الأعمدة الرقمية الثمانية. أما الأعمدة النصية مثل country فتحتاج إلى ترميز أولًا (القسم 4 يتولّى ذلك)، وavg_satisfaction فيه فجوات لا تقبلها بعض النماذج بعد.
import pandas as pd\n\nchurn = pd.read_csv(\"churn.csv\")\nfeatures = [\"tenure_days\", \"orders\", \"total_spent\", \"avg_order_value\",\n \"days_since_last_order\", \"used_coupon\", \"support_tickets\", \"mobile_share\"]\nX = churn[features]\ny = churn[\"churned\"]\nprint(X.shape, y.shape)\nprint(y.value_counts())يبقى customer_id خارجًا. فالمعرّف اسم اعتباطي، ومع ذلك قد يجد نموذج مرن تقسيمات عليه تطابق صفوف التدريب بالمصادفة. وأي شيء لن يكون له معنى عند شخص يشرح سبب انقطاع العملاء لا ينبغي أن يكون feature.
تخلط train_test_split الصفوف ثم تقسمها إلى جزأين. تدرّب على أحدهما وتقيس على الآخر.
import pandas as pd\nfrom sklearn.model_selection import train_test_split\n\nchurn = pd.read_csv(\"churn.csv\")\nfeatures = [\"tenure_days\", \"orders\", \"total_spent\", \"avg_order_value\",\n \"days_since_last_order\", \"used_coupon\", \"support_tickets\", \"mobile_share\"]\nX, y = churn[features], churn[\"churned\"]\n\nX_train, X_test, y_train, y_test = train_test_split(\n X, y, test_size=0.25, random_state=42, stratify=y\n)\nprint(\"train:\", X_train.shape, \"churn rate\", round(y_train.mean(), 3))\nprint(\"test: \", X_test.shape, \"churn rate\", round(y_test.mean(), 3))ثلاثة معاملات تقوم بالعمل:
\ntest_size=0.25 يحجز ربع الصفوف: 100 عميل للاختبار و298 للتدريب. مع بضع مئات من الصفوف، تُعدّ نسبة 20–30% للاختبار معقولة؛ ومع الملايين تكفي 1–5%.random_state=42 يثبّت الخلط فتحصل على التقسيم نفسه في كل تشغيل. وبدونه يُعاد الخلط مع كل تشغيل، فتتأرجح نتيجتك لأسباب لا علاقة لها بنموذجك.stratify=y يُبقي نسبة الانقطاع متساوية في الجزأين (55%). فمع 100 صف للاختبار، قد يعطيك خلط سيئ الحظ بيانات اختبار نسبة الانقطاع فيها 45% أو 62%، وعندها يتغيّر كل رقم تحسبه عليها.ترتيب القيم الأربع المُعادة ثابت: X_train, X_test, y_train, y_test. والخلط بينها مصدر شائع لنتائج لا معنى لها.
فكّر في التقسيم على أنه عقد مع نفسك في المستقبل. كل ما تفعله من الآن فصاعدًا (اختيار الـ features، واختيار النماذج، وضبط الإعدادات) يحدث على جزء التدريب. ويبقى جزء الاختبار مختومًا حتى تصبح جاهزًا لنشر نتيجة. بـ X_train وy_train يمكنك تدريب أي نموذج تريده. وبـ X_test وy_test تحصل على إجابة صادقة واحدة عن سؤال “ما مدى نجاح هذا مع عملاء لم يرَهم؟”. هذا هو الرقم الذي يتنبأ بما سيحدث حين يستخدم فريق التسويق نموذجك في ديسمبر. في الدرس القادم ستدرّب أول نموذج وترى كم يمكن أن تكون الفجوة كبيرة بين هذين الرقمين.
stratify=y في التصنيف ليحافظ جزءا التدريب والاختبار على توازن الفئات نفسه، وحدّد random_state ليكون التقسيم قابلًا للتكرار.","بيانات الاختبار مخصّصة للفحص الأخير؛ والنظر إليها أثناء اتخاذ القرارات يحوّلها إلى بيانات تدريب."],"further":[{"title":"train_test_split","url":"https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.train_test_split.html"},{"title":"Common pitfalls and recommended practices","url":"https://scikit-learn.org/stable/common_pitfalls.html"}],"quiz":[{"q":"درّبت نموذجًا على كل صفوف بيانات الانقطاع الـ 398، فحقق 0.99 على الصفوف نفسها. ماذا تستنتج؟
","options":[{"text":"سيكون النموذج دقيقًا بنحو 99% على عملاء الشهر القادم.","why":"رأى النموذج كل إجابة من تلك الإجابات. والنتيجة العالية على بيانات مرئية تتّسق تمامًا مع الحفظ المحض."},{"text":"القليل جدًا عن أدائه المستقبلي؛ تحتاج إلى صفوف لم يرَها النموذج قط.","why":"صحيح. البيانات المحجوزة وحدها تخبرك كيف يعمّم النموذج على عملاء جدد."},{"text":"النموذج يعاني من الـ overfitting، فاحذف features حتى تنخفض النتيجة.","why":"لا يمكنك تشخيص الـ overfitting دون نتيجة على بيانات محجوزة تقارن بها، وحذف الـ features عشوائيًا ليس حلًّا."}],"answer":1},{"q":"ما الذي يغيّره stratify=y في train_test_split(X, y, test_size=0.25, stratify=y)؟
لماذا نحذف customer_id من الـ features؟
id.","why":"لا يفحص scikit-learn أسماء الأعمدة بحثًا عن معناها. بل سيستخدم المعرّف بلا تردّد، وهذه هي المشكلة."},{"text":"لأنه الهدف، فلا يجوز أن يكون في X.","why":"الهدف هو churned. المعرّف مجرد اسم للصف، لا إجابة."},{"text":"لأن المعرّفات تبطّئ التدريب لكونها أرقامًا كبيرة.","why":"الأرقام الكبيرة لا تبطّئ التدريب بشكل يُذكر. السبب يتعلّق بما يستطيع النموذج تعلّمه، لا بالسرعة."}],"answer":0},{"q":"جرّبت عشرين إعدادًا للنموذج، واحتفظت بصاحب أفضل نتيجة على بيانات الاختبار، ثم نشرت تلك النتيجة. ما الخطأ؟
","options":[{"text":"لا شيء؛ هذا هو الغرض من بيانات الاختبار.","why":"بيانات الاختبار مخصّصة لتقدير نهائي واحد غير منحاز. والاختيار بين عشرين خيارًا على أساسها يجعلها جزءًا من التدريب."},{"text":"عشرون إعدادًا أقل من أن تجد نموذجًا جيدًا.","why":"عدد الإعدادات ليس المشكلة. أي اختيار مبني على بيانات الاختبار يرفع النتيجة المنشورة بشكل منحاز."},{"text":"النتيجة المنشورة متفائلة، لأنك اخترت الإعداد الذي صادف أن يلائم هذه البيانات تحديدًا.","why":"صحيح. استخدم جزء تحقق (validation) أو التحقق المتقاطع للاختيار، ثم المس بيانات الاختبار مرة واحدة."}],"answer":2}],"exercise":{"kind":"python","files":["churn.csv"],"starter":"import pandas as pd\nfrom sklearn.model_selection import train_test_split\n\nchurn = pd.read_csv(\"churn.csv\")\n\n# 1. Feature matrix: the eight numeric feature columns (no id, no target)\nX = churn.drop(columns=[\"country\", \"segment\", \"avg_satisfaction\"])\n# 2. Target\ny = churn[\"churned\"]\n\n# 3. Split: 25% test, random_state=42, keep the churn rate equal in both parts\nX_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2)\n","solution":"import pandas as pd\nfrom sklearn.model_selection import train_test_split\n\nchurn = pd.read_csv(\"churn.csv\")\n\nX = churn.drop(columns=[\"customer_id\", \"country\", \"segment\", \"avg_satisfaction\", \"churned\"])\ny = churn[\"churned\"]\n\nX_train, X_test, y_train, y_test = train_test_split(\n X, y, test_size=0.25, random_state=42, stratify=y\n)\n","checks":[{"id":"features","test":"set(X.columns) == {'tenure_days', 'orders', 'total_spent', 'avg_order_value', 'days_since_last_order', 'used_coupon', 'support_tickets', 'mobile_share'}"},{"id":"target","test":"list(y.unique()) != [] and set(y.unique()) == {0, 1} and len(y) == 398"},{"id":"sizes","test":"X_train.shape == (298, 8) and X_test.shape == (100, 8) and len(y_test) == 100"},{"id":"stratified","test":"abs(float(y_test.mean()) - float(y.mean())) < 0.01 and abs(float(y_train.mean()) - float(y.mean())) < 0.01"}],"title":"ابنِ X وy ثم قسّم البيانات","prompt":"جهّز بيانات انقطاع العملاء للنمذجة.
\nX: أعمدة الـ features الرقمية الثمانية: كل شيء ما عدا customer_id وcountry وsegment وavg_satisfaction والهدف.y: العمود churned.X_train, X_test, y_train, y_test بحيث تكون بيانات الاختبار 25%، مع random_state=42، ومع بقاء نسبة الانقطاع متساوية في الجزأين.customer_id وchurned داخل X في الكود المبدئي. احذفهما أيضًا.","test_size=0.25 يعطيك 100 صف للاختبار من أصل 398.","مرّر stratify=y ليحافظ الجزآن على نسبة انقطاع 55%."],"explanation":"حذف المعرّف والهدف يترك ثمانية features رقمية. يحجز test_size=0.25 مئة عميل، ويجعل random_state=42 التقسيم قابلًا للتكرار، ويُبقي stratify=y نسبة الانقطاع عند 55% في الجزأين فلا تنحرف نتيجة الاختبار بسبب خلط سيئ الحظ. أما ترك churned داخل X فيتيح لأي نموذج قراءة الإجابة مباشرة من الـ features، وهذا أشدّ أشكال تسرّب البيانات.