ظلّ القسم 3 يترك بيانات على الطاولة. فـ country وsegment نصوص، ولا يقبلها أي نموذج في scikit-learn مباشرة. وavg_satisfaction فيه فجوات يرفضها الانحدار اللوجستي. وكنت توحّد المقاييس يدويًا، متتبّعًا X_train_s وX_test_s. كل خطوة من هذه الخطوات يجب أن تُتعلَّم من بيانات التدريب وحدها، وتُطبَّق بالطريقة نفسها على البيانات الجديدة، وتُعاد داخل كل طيّة تحقق متقاطع. وفعل ذلك يدويًا هو الطريقة التي يحدث بها التسرّب والأخطاء. الـ pipeline يفعله نيابةً عنك.
الـ Pipeline قائمة من الخطوات: أي عدد من المحوّلات (transformers) (كائنات لها fit وtransform، مثل StandardScaler) يليها estimator نهائي واحد. ويتصرّف الـ pipeline كنموذج واحد:
pipe.fit(X, y) المحوّل الأول، ويحوّل البيانات، ويمرّرها إلى الخطوة التالية، وهكذا، ثم يدرّب النموذج على الناتج.pipe.predict(X_new) البيانات X_new عبر المحوّلات المدرَّبة مسبقًا، ثم يتنبأ.استخدمت make_pipeline، التي تسمّي الخطوات تلقائيًا ("standardscaler" و"logisticregression"). أما Pipeline([("prep", ...), ("model", ...)]) فيتيح لك اختيار الأسماء، وستحتاج إلى ذلك في الدرس القادم حين تضبط المعاملات بأسمائها.
المكسب الحقيقي يظهر في التحقق المتقاطع. تستنسخ cross_validate الـ pipeline بأكمله وتعيد تدريبه في كل طيّة، فتُتعلَّم متوسطات الـ scaler ووسيطات الـ imputer وقائمة فئات الـ encoder من صفوف تدريب تلك الطيّة وحدها.
ليس كل عمود بحاجة إلى المعالجة المسبقة نفسها. يوجّه ColumnTransformer كل مجموعة من الأعمدة عبر محوّلها الخاص، ثم يلصق المخرجات جنبًا إلى جنب.
ثلاثة محوّلات تقوم بالعمل:
\nOneHotEncoder ينشئ عمود 0/1 لكل فئة: country_Egypt وcountry_Germany وهكذا. اضبط handle_unknown="ignore"؛ فالقيمة الافتراضية ترفع خطأً في أول مرة يصل فيها عميل من دولة لم تتضمّنها بيانات التدريب، وهذا يعني في بيئة الإنتاج خدمة تنبؤ منهارة.SimpleImputer يملأ القيم المفقودة بالمتوسط أو الوسيط أو القيمة الأكثر تكرارًا أو قيمة ثابتة، متعلَّمة من بيانات التدريب. ومع add_indicator=True يضيف أيضًا عمودًا قيمته 1 حيث كانت القيمة مفقودة. نصف عملاء Cartwheel لم يجيبوا عن الاستبيان قط، وقد تكون هذه الحقيقة أهم من الدرجة نفسها.StandardScaler، كما سبق. ويتيح make_pipeline صغير لمجموعة أعمدة واحدة أن تمرّ عبر خطوتين بالترتيب.import pandas as pd\nfrom sklearn.compose import ColumnTransformer\nfrom sklearn.impute import SimpleImputer\nfrom sklearn.linear_model import LogisticRegression\nfrom sklearn.model_selection import StratifiedKFold, cross_val_score, train_test_split\nfrom sklearn.pipeline import Pipeline, make_pipeline\nfrom sklearn.preprocessing import OneHotEncoder, StandardScaler\n\nchurn = pd.read_csv(\"churn.csv\")\nX = churn.drop(columns=[\"customer_id\", \"churned\"])\ny = churn[\"churned\"]\nX_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.25, random_state=42, stratify=y)\n\nnumeric = [\"tenure_days\", \"orders\", \"total_spent\", \"avg_order_value\",\n \"days_since_last_order\", \"used_coupon\", \"support_tickets\", \"mobile_share\"]\npreprocess = ColumnTransformer([\n (\"num\", StandardScaler(), numeric),\n (\"sat\", make_pipeline(SimpleImputer(strategy=\"median\", add_indicator=True), StandardScaler()),\n [\"avg_satisfaction\"]),\n (\"cat\", OneHotEncoder(handle_unknown=\"ignore\"), [\"country\", \"segment\"]),\n])\npipe = Pipeline([(\"prep\", preprocess), (\"model\", LogisticRegression())])\n\npipe.fit(X_train, y_train)\nnames = pipe.named_steps[\"prep\"].get_feature_names_out()\nprint(len(names), \"model inputs, e.g.\", list(names[8:12]))\n\ncv = StratifiedKFold(n_splits=5, shuffle=True, random_state=42)\nprint(\"all columns ROC AUC:\", cross_val_score(pipe, X_train, y_train, cv=cv, scoring=\"roc_auc\").mean().round(3))\nnumeric_only = make_pipeline(StandardScaler(), LogisticRegression())\nprint(\"numeric only ROC AUC:\", cross_val_score(numeric_only, X_train[numeric], y_train, cv=cv, scoring=\"roc_auc\").mean().round(3))يقبل الـ pipeline الـ DataFrame الخام، بما فيه من نصوص وفجوات، وينتج 21 مُدخلًا للنموذج: ثمانية أرقام موحّدة المقاييس، ودرجة الرضا المملوءة ومؤشّر غيابها، وثمانية أعمدة للدول وثلاثة للشرائح. وتسردها get_feature_names_out مع بادئة تسمّي المحوّل الذي أنتج كلًّا منها، وهكذا تطابق المعاملات بالأعمدة لاحقًا.
ثم تأتي المفاجأة: الـ pipeline الكامل يرتّب العملاء أسوأ من الأعمدة الرقمية الثمانية وحدها، 0.776 مقابل 0.807. أحد عشر عمود one-hot ودرجة رضا نصف قيمها مملوءة تعطي الانحدار اللوجستي معاملات أكثر ليلائمها بـ 298 صفًا فقط، وعلى هذه البيانات تحمل الأعمدة الإضافية ضجيجًا أكثر من الإشارة. صحيح أن نسبة الانقطاع في مصر تبدو أعلى في بيانات التدريب، لكن مع 44 عميلًا مصريًا في التدريب، هذا أضعف من أن يُراهَن عليه.
\nهذا ليس فشلًا للـ pipeline. بل هو الـ pipeline يؤدي عمله: جعل اختبار الأعمدة الإضافية تغييرًا من خمسة أسطر، وأعطى التحقق المتقاطع إجابة واضحة. يبقى النموذج الرقمي البطل حاليًا. والأعمدة الفئوية تستحق العودة إليها حين يصبح لدى Cartwheel بضعة آلاف من العملاء، أو مع regularization أقوى.
\n\n\nويعطي الـ pipeline أيضًا كل إعداد عنوانًا: model__C هو C في الخطوة المسمّاة model، وprep__sat__simpleimputer__strategy يصل إلى الـ imputer. يستخدم الدرس القادم هذه العناوين للبحث عن أفضل الإعدادات تلقائيًا.
Pipeline محوّلات (transformers) ونموذجًا نهائيًا في estimator واحد: يدرّب fit كل خطوة بالترتيب، ويمرّر predict البيانات الجديدة عبر الخطوات نفسها.","يطبّق ColumnTransformer معالجة مسبقة مختلفة على أعمدة مختلفة ثم يضمّ النتائج جنبًا إلى جنب.","يحوّل OneHotEncoder(handle_unknown="ignore") الفئات إلى أعمدة 0/1 ولا ينهار أمام فئة لم يرَها في التدريب.","يملأ SimpleImputer(add_indicator=True) الفجوات ويضيف عمودًا يسجّل القيم التي كانت مفقودة.","لأن الـ pipeline كله يُعاد تدريبه في كل طيّة، لا تتعلّم المعالجة المسبقة إلا من صفوف التدريب، وهذا يُبقي التحقق المتقاطع أمينًا."],"further":[{"title":"Pipelines and composite estimators","url":"https://scikit-learn.org/stable/modules/compose.html"},{"title":"ColumnTransformer","url":"https://scikit-learn.org/stable/modules/generated/sklearn.compose.ColumnTransformer.html"},{"title":"OneHotEncoder","url":"https://scikit-learn.org/stable/modules/generated/sklearn.preprocessing.OneHotEncoder.html"},{"title":"Imputation of missing values","url":"https://scikit-learn.org/stable/modules/impute.html"}],"quiz":[{"q":"أثناء cross_validate(pipe, X_train, y_train, cv=5)، من أين يحصل الـ StandardScaler داخل pipe على متوسطاته؟
X_train كاملة، محسوبة مرة واحدة قبل إنشاء الطيّات.","why":"هذا ما يحدث إذا وحّدت المقاييس قبل التحقق المتقاطع، وهو التسرّب الذي وُجدت الـ pipelines لمنعه."},{"text":"من طيّة التحقق، كي تُمركز بيانات التحقق بشكل صحيح.","why":"تدريب أي شيء على طيّة التحقق سيسرّبها إلى النموذج."},{"text":"من بيانات الاختبار، لأنها ما سيُتنبأ به.","why":"لا تُمرَّر بيانات الاختبار إلى cross_validate إطلاقًا."}],"answer":0},{"q":"يصل عميل من فرنسا (غير موجودة في التدريب) إلى pipeline يستخدم فيه OneHotEncoder القيمة الافتراضية لـ handle_unknown. ماذا يحدث؟
handle_unknown="ignore"، لا مع القيمة الافتراضية."},{"text":"يضيف الـ encoder عمودًا جديدًا لفرنسا في الحال.","why":"تخطيط الأعمدة يُثبَّت وقت التدريب؛ ولن تستطيع معاملات النموذج استخدام عمود جديد على أي حال."},{"text":"ترفع transform الخطأ ValueError: Found unknown categories ['France'].","why":"صحيح. القيمة الافتراضية هي "error". استخدم handle_unknown="ignore" في أي شيء سيرى بيانات حيّة."}],"answer":3},{"q":"لماذا نستخدم SimpleImputer(strategy="median", add_indicator=True) مع avg_satisfaction؟
إضافة country وsegment إلى pipeline الانحدار اللوجستي تخفض الـ ROC AUC بالتحقق المتقاطع من 0.807 إلى 0.776. ما أفضل تفسير؟
اجعل الـ pipeline المبدئي يتعامل مع الفجوات والمفاجآت.
\npreprocess: وحّد مقاييس الأعمدة numeric؛ وبالنسبة إلى avg_satisfaction، املأ القيم المفقودة بالوسيط وأضف مؤشّر غياب، ثم وحّد المقياس؛ وطبّق one-hot encoding على segment بحيث تُتجاهل الفئات غير المرئية بدل رفع خطأ.pipe: خطوتان باسمَي "prep" و"model" (نموذج LogisticRegression)، مدرَّب على بيانات التدريب. يجب أن ينتج 13 مُدخلًا للنموذج.cv_auc: متوسط الـ ROC AUC من cross_val_score باستخدام cv المعطى.new_prob: احتمال انقطاع new_customer، الذي يأتي من دولة غير مرئية وشريحة غير مرئية وليست لديه درجة رضا.StandardScaler وحده التعامل مع NaN. سلسِل make_pipeline(SimpleImputer(strategy="median", add_indicator=True), StandardScaler()).","OneHotEncoder(handle_unknown="ignore"). عمود الدولة غير مذكور في المحوّل، فيُحذف.","لا تنسَ pipe.fit(X_train, y_train)؛ ثم pipe.predict_proba(new_customer)[0, 1]."],"explanation":"ثمانية أعمدة رقمية موحّدة المقاييس، ودرجة الرضا المملوءة مع مؤشّر غيابها، وثلاثة أعمدة للشرائح، تساوي 13 مُدخلًا. والأعمدة التي لا يذكرها ColumnTransformer (هنا country) تُحذف افتراضيًا (remainder="drop"). يحصل العميل الجديد على أعمدة شرائح كلها أصفار ودرجة رضا تساوي الوسيط مع مؤشّر قيمته 1، فيظل النموذج ينتج احتمالًا. ودون handle_unknown="ignore" والـ imputer، كان هذا العميل الواحد سيُسقط خدمة في بيئة الإنتاج.