النماذج لا ترى إلا الأعمدة التي تعطيها إياها. وقائد فريق الدعم حين ينظر إلى عميل لا يفكّر “4 طلبات و600 يوم من العضوية”؛ بل يفكّر “طلب كل خمسة أشهر أو نحوها”. هذا المعدّل، لا أيٌّ من الرقمين الخامين، هو الفكرة المفيدة. وهندسة الـ features (feature engineering) تحوّل هذا النوع من المعرفة بمجال العمل إلى أعمدة، وفي البيانات الجدولية كثيرًا ما تساوي أكثر من أي قدر من الضبط.
\nfeatures الانقطاع الجيدة تقع عادةً في بضع عائلات:
\nlog1p لأعمدة المال، الذي يضغط الذيول الطويلة نحو اليمين بحيث يُحسب الفرق بين 50 و150 دولارًا أكثر من الفرق بين 3,000 و3,100 دولار.كلٌّ من هذه يجب أن يكون قابلًا للحساب من معلومات متاحة في تاريخ اللقطة. المعدّل المبني من مدة العضوية والطلبات سليم؛ وأي شيء يختلس النظر إلى نافذة النتيجة هو التسرّب الذي تحدّثنا عنه في الدرس السابق.
\nاكتب كود الـ features مرة واحدة، كدالة من DataFrame إلى DataFrame، وغلّفها في FunctionTransformer. داخل الـ pipeline تعمل في التحقق المتقاطع، وفي التدريب النهائي، وفي بيئة الإنتاج، دائمًا بالطريقة نفسها.
import numpy as np\nimport pandas as pd\nfrom sklearn.preprocessing import FunctionTransformer\n\nchurn = pd.read_csv(\"churn.csv\")\nfeatures = [\"tenure_days\", \"orders\", \"total_spent\", \"avg_order_value\",\n \"days_since_last_order\", \"used_coupon\", \"support_tickets\", \"mobile_share\"]\n\ndef add_features(df):\n df = df.copy()\n months = df[\"tenure_days\"] / 30.4\n df[\"orders_per_month\"] = df[\"orders\"] / months\n df[\"typical_gap\"] = df[\"tenure_days\"] / df[\"orders\"]\n df[\"overdue\"] = df[\"days_since_last_order\"] / df[\"typical_gap\"]\n df[\"log_spent\"] = np.log1p(df[\"total_spent\"])\n return df\n\nengineered = FunctionTransformer(add_features).fit_transform(churn[features])\nprint(engineered[[\"orders\", \"tenure_days\", \"orders_per_month\", \"overdue\", \"log_spent\"]].head().round(2))\nprint(\"skew of total_spent:\", round(churn[\"total_spent\"].skew(), 2),\n \"| after log1p:\", round(np.log1p(churn[\"total_spent\"]).skew(), 2))df.copy() مهم: لا ينبغي للدالة أن تعدّل الـ DataFrame الخاص بمن استدعاها. ولأن لكل عميل طلبًا واحدًا على الأقل ومدة عضوية موجبة، فالقسمة آمنة هنا؛ أما في بياناتك أنت، فاحترس من الأصفار.
الدالة عديمة الحالة (stateless): القيم الجديدة لكل صف تعتمد على ذلك الصف وحده. والـ features عديمة الحالة لا يمكن أن تتسرّب بين الطيّات. أما feature مثل “الإنفاق مقارنةً بمتوسط العملاء” فمختلف، لأن المتوسط يُتعلَّم من البيانات؛ فهو يحتاج إلى محوّل حقيقي له fit، وإلا استخدم صفوف التحقق بصمت.
import numpy as np\nimport pandas as pd\nfrom sklearn.linear_model import LogisticRegression\nfrom sklearn.model_selection import StratifiedKFold, cross_val_score, train_test_split\nfrom sklearn.pipeline import make_pipeline\nfrom sklearn.preprocessing import FunctionTransformer, StandardScaler\nfrom sklearn.tree import DecisionTreeClassifier\n\nchurn = pd.read_csv(\"churn.csv\")\nfeatures = [\"tenure_days\", \"orders\", \"total_spent\", \"avg_order_value\",\n \"days_since_last_order\", \"used_coupon\", \"support_tickets\", \"mobile_share\"]\nX_train, X_test, y_train, y_test = train_test_split(\n churn[features], churn[\"churned\"], test_size=0.25, random_state=42,\n stratify=churn[\"churned\"])\ncv = StratifiedKFold(n_splits=5, shuffle=True, random_state=42)\n\ndef add_features(df):\n df = df.copy()\n df[\"orders_per_month\"] = df[\"orders\"] / (df[\"tenure_days\"] / 30.4)\n df[\"typical_gap\"] = df[\"tenure_days\"] / df[\"orders\"]\n df[\"overdue\"] = df[\"days_since_last_order\"] / df[\"typical_gap\"]\n df[\"log_spent\"] = np.log1p(df[\"total_spent\"])\n return df\n\nmodels = {\"tree\": DecisionTreeClassifier(min_samples_leaf=20, random_state=42),\n \"logistic\": make_pipeline(StandardScaler(), LogisticRegression())}\nfor name, model in models.items():\n plain = cross_val_score(model, X_train, y_train, cv=cv, scoring=\"roc_auc\")\n richer = cross_val_score(make_pipeline(FunctionTransformer(add_features), model),\n X_train, y_train, cv=cv, scoring=\"roc_auc\")\n print(f\"{name:8} plain {plain.mean():.3f} ± {plain.std():.3f} \"\n f\"engineered {richer.mean():.3f} ± {richer.std():.3f}\")تتحسّن الشجرة الواحدة من 0.716 إلى 0.759، وتصبح طيّاتها أكثر ثباتًا. انظر إلى داخلها وسترى السبب: يصبح orders_per_month سؤال الجذر. لا تستطيع الشجرة إلا مقارنة عمود واحد بعتبة، فـ “طلبات قليلة بالنسبة إلى مدة العضوية هذه” كانت ستحتاج إلى سلّم من التقسيمات لمحاكاتها. أما حين تُسلَّم النسبة، فيكفيها تقسيم واحد.
ويتحرك الانحدار اللوجستي من 0.807 إلى 0.811، وهذا ضمن تشتّت ±0.04 بوضوح. أي لا تغيير. فالنموذج الخطي يستطيع أصلًا أن يوازن orders مقابل tenure_days، وحداثة آخر طلب، الإشارة المهيمنة، موجودة منذ البداية. عائلات النماذج المختلفة تحتاج إلى features مختلفة: النِّسب والتفاعلات للأشجار، والتحويلات المقوِّمة للنماذج الخطية.
اختبر القسم 4 النماذج المجمّعة والأعمدة الإضافية والضبط والـ features المهندَسة بتحقق متقاطع أمين. ومعظمها لم يتفوّق على النموذج البسيط. لذا يبقى البطل هو الانحدار اللوجستي بعد توحيد المقاييس على ثمانية أعمدة رقمية، وقد حان الوقت لإنفاق بيانات الاختبار:
\nimport pandas as pd\nfrom sklearn.linear_model import LogisticRegression\nfrom sklearn.metrics import roc_auc_score\nfrom sklearn.model_selection import train_test_split\nfrom sklearn.pipeline import make_pipeline\nfrom sklearn.preprocessing import StandardScaler\n\nchurn = pd.read_csv(\"churn.csv\")\nfeatures = [\"tenure_days\", \"orders\", \"total_spent\", \"avg_order_value\",\n \"days_since_last_order\", \"used_coupon\", \"support_tickets\", \"mobile_share\"]\nX_train, X_test, y_train, y_test = train_test_split(\n churn[features], churn[\"churned\"], test_size=0.25, random_state=42,\n stratify=churn[\"churned\"])\n\nchampion = make_pipeline(StandardScaler(), LogisticRegression()).fit(X_train, y_train)\nprint(\"test ROC AUC:\", round(roc_auc_score(y_test, champion.predict_proba(X_test)[:, 1]), 3))\nprint(\"test accuracy:\", champion.score(X_test, y_test))ROC AUC على الاختبار بقيمة 0.81 مقابل 0.81 بالتحقق المتقاطع: لا مفاجأة، وهذا بالضبط ما تبدو عليه عملية خالية من التسرّب. هذا التوافق هو ما اشتراه لك القسم 4. ليس رقمًا أعلى، بل رقمًا تستطيع أن تقف خلفه في اجتماع.
\n\nيخطو القسم 5 إلى ما هو أبعد من الجداول الموجَّهة: إيجاد البنية دون labels، ونظرة أولى على الشبكات العصبية، وموقع النماذج اللغوية الكبيرة، وما يتطلّبه وضع البطل أمام عملاء حقيقيين بمسؤولية.
\n","toc":[{"id":"sec-1","text":"أفكار تأتي من مجال العمل","level":2},{"id":"sec-2","text":"الـ Features داخل الـ pipeline","level":2},{"id":"sec-3","text":"هل تساعد؟ اسأل التحقق المتقاطع","level":2},{"id":"sec-4","text":"ختام القسم: البطل","level":2}],"takeaways":["الـ features الجيدة تعبّر عمّا ينظر إليه الخبير: معدّلات لكل وحدة زمن، ونِسب بين أعمدة مترابطة، وعلامات لحالات ذات معنى.","تقسم الأشجار على عمود واحد في كل مرة، فهي الأكثر استفادة من features النِّسب التي تجمع الأعمدة؛ أما النماذج الخطية فتستفيد من تحويلات مثل اللوغاريتم التي تقوّم العلاقات.","ضع كود الـ features فيFunctionTransformer داخل الـ pipeline، كي يحسب التدريب والتحقق المتقاطع وبيئة الإنتاج الـ features بالطريقة نفسها تمامًا.","لا يستحق الـ feature الجديد مكانه إلا إذا كان مكسبه في التحقق المتقاطع أكبر من التشتّت بين الطيّات.","بعد الاختيار، أعد تدريب البطل على بيانات التدريب كلها وقيّمه مرة واحدة على بيانات الاختبار."],"further":[{"title":"FunctionTransformer","url":"https://scikit-learn.org/stable/modules/generated/sklearn.preprocessing.FunctionTransformer.html"},{"title":"Preprocessing data: custom transformers","url":"https://scikit-learn.org/stable/modules/preprocessing.html#custom-transformers"}],"quiz":[{"q":"إضافة orders_per_month ترفع الـ AUC بالتحقق المتقاطع لشجرة واحدة من 0.72 إلى 0.76، لكنها تُبقي الانحدار اللوجستي على حاله عند 0.81. ما السبب الأرجح؟
لماذا نحسب الـ features داخل FunctionTransformer في الـ pipeline بدل إضافة أعمدة إلى الـ DataFrame مسبقًا؟
FunctionTransformer يجعل حساب الـ features أسرع.","why":"السرعة هي نفسها؛ فهو كود pandas نفسه في الحالتين."},{"text":"لأن خدمة الإنتاج تحسب حينها الـ features نفسها تمامًا من المدخلات الخام، دون كود منفصل يجب إبقاؤه متزامنًا.","why":"صحيح. كائن واحد يحمل منطق الـ features والنموذج معًا، فلا يمكن أن يبتعدا عن بعضهما."},{"text":"لأن الـ features المضافة إلى DataFrame لا يمكن أن تستخدمها نماذج scikit-learn.","why":"أي عمود رقمي في DataFrame يمكن استخدامه؛ والفائدة هي الاتّساق."}],"answer":1},{"q":"العمود total_spent ملتوٍ بشدة نحو اليمين (قلّة من العملاء أنفقوا الآلاف). أيّ تحويل يساعد النموذج الخطي عادةً؟
np.log1p(total_spent)، الذي يضغط القيم الكبيرة فيصبح لفرق 100 دولار وزن أكبر عند 50 دولارًا منه عند 3,000 دولار.","why":"صحيح. التحويلات اللوغاريتمية تروّض الالتواء وكثيرًا ما تجعل العلاقات أقرب إلى الخطية. والأشجار لا تحتاج إليها."}],"answer":2},{"q":"feature جديد يرفع متوسط الـ AUC بالتحقق المتقاطع من 0.807 إلى 0.811، مع انحرافات معيارية للطيّات في حدود 0.035. ماذا تفعل؟
","options":[{"text":"احتفظ به؛ أي تحسّن يستحق الحصول عليه.","why":"لكل feature كلفة تشغيل (حساب، ومراقبة، وشرح)، ومكسب بهذا الحجم لا يمكن تمييزه عن الضجيج."},{"text":"أعلن عنه كتحسّن بمقدار 0.4 نقطة.","why":"هذا يبالغ في دليل غير موجود."},{"text":"اضبط النموذج من جديد حتى تكبر الفجوة.","why":"الضبط لتوسيع فجوة مليئة بالضجيج هو overfitting على طيّات التحقق."},{"text":"عامله على أنه لا تغيير؛ وأبقِ مجموعة الـ features الأبسط ما لم يكن للـ feature سبب آخر لوجوده.","why":"صحيح. المكسب الواقع ضمن التشتّت بوضوح ضجيج؛ والخيار الافتراضي ترك الـ feature خارجًا."}],"answer":3}],"exercise":{"kind":"python","files":["churn.csv"],"starter":"import numpy as np\nimport pandas as pd\nfrom sklearn.model_selection import StratifiedKFold, cross_val_score, train_test_split\nfrom sklearn.pipeline import make_pipeline\nfrom sklearn.preprocessing import FunctionTransformer\nfrom sklearn.tree import DecisionTreeClassifier\n\nchurn = pd.read_csv(\"churn.csv\")\nfeatures = [\"tenure_days\", \"orders\", \"total_spent\", \"avg_order_value\",\n \"days_since_last_order\", \"used_coupon\", \"support_tickets\", \"mobile_share\"]\nX_train, X_test, y_train, y_test = train_test_split(\n churn[features], churn[\"churned\"], test_size=0.25, random_state=42,\n stratify=churn[\"churned\"])\ncv = StratifiedKFold(n_splits=5, shuffle=True, random_state=42)\ntree = DecisionTreeClassifier(min_samples_leaf=20, random_state=42)\n\n# 1. Return a COPY of df with two new columns:\n# orders_per_month = orders / (tenure_days / 30.4)\n# tickets_per_order = support_tickets / orders\ndef add_features(df):\n return df\n\n# 2. Pipeline: FunctionTransformer(add_features), then `tree`\npipe = make_pipeline(tree)\n\n# 3. Mean CV ROC AUC on the training data, for the plain tree and for your pipeline\nplain_auc = None\nengineered_auc = None\n","solution":"import numpy as np\nimport pandas as pd\nfrom sklearn.model_selection import StratifiedKFold, cross_val_score, train_test_split\nfrom sklearn.pipeline import make_pipeline\nfrom sklearn.preprocessing import FunctionTransformer\nfrom sklearn.tree import DecisionTreeClassifier\n\nchurn = pd.read_csv(\"churn.csv\")\nfeatures = [\"tenure_days\", \"orders\", \"total_spent\", \"avg_order_value\",\n \"days_since_last_order\", \"used_coupon\", \"support_tickets\", \"mobile_share\"]\nX_train, X_test, y_train, y_test = train_test_split(\n churn[features], churn[\"churned\"], test_size=0.25, random_state=42,\n stratify=churn[\"churned\"])\ncv = StratifiedKFold(n_splits=5, shuffle=True, random_state=42)\ntree = DecisionTreeClassifier(min_samples_leaf=20, random_state=42)\n\ndef add_features(df):\n df = df.copy()\n df[\"orders_per_month\"] = df[\"orders\"] / (df[\"tenure_days\"] / 30.4)\n df[\"tickets_per_order\"] = df[\"support_tickets\"] / df[\"orders\"]\n return df\n\npipe = make_pipeline(FunctionTransformer(add_features), tree)\n\nplain_auc = cross_val_score(tree, X_train, y_train, cv=cv, scoring=\"roc_auc\").mean()\nengineered_auc = cross_val_score(pipe, X_train, y_train, cv=cv, scoring=\"roc_auc\").mean()\nprint(round(plain_auc, 3), round(engineered_auc, 3))\n","checks":[{"id":"new-columns","test":"list(add_features(X_train.head(3)).columns) == features + ['orders_per_month', 'tickets_per_order'] or set(add_features(X_train.head(3)).columns) == set(features) | {'orders_per_month', 'tickets_per_order'}"},{"id":"values","test":"abs(float(add_features(X_train)['orders_per_month'].iloc[0]) - float(X_train['orders'].iloc[0] / (X_train['tenure_days'].iloc[0] / 30.4))) < 1e-9 and abs(float(add_features(X_train)['tickets_per_order'].iloc[0]) - float(X_train['support_tickets'].iloc[0] / X_train['orders'].iloc[0])) < 1e-9"},{"id":"no-mutation","test":"list(X_train.columns) == features"},{"id":"pipeline","test":"type(pipe[0]).__name__ == 'FunctionTransformer' and type(pipe[-1]).__name__ == 'DecisionTreeClassifier'"},{"id":"scores","test":"plain_auc is not None and engineered_auc is not None and abs(float(plain_auc) - 0.716) < 0.002 and float(engineered_auc) > float(plain_auc) + 0.02"}],"title":"أعطِ الشجرة معدّلًا تقسم عليه","prompt":"ساعد شجرة قرار واحدة باثنين من الـ features المهندَسة.
\nadd_features(df) بحيث تُعيد نسخة من df مضافًا إليها orders_per_month (orders / (tenure_days / 30.4)) وtickets_per_order (support_tickets / orders). لا تعدّل الـ DataFrame المُمرَّر.pipe: FunctionTransformer(add_features) متبوعًا بـ tree.plain_auc وengineered_auc: متوسط الـ ROC AUC بالتحقق المتقاطع على بيانات التدريب (باستخدام cv المعطى) لـ tree وحدها ولـ pipe.df = df.copy() كي تبقى بيانات المستدعي دون مساس.","make_pipeline(FunctionTransformer(add_features), tree)","cross_val_score(model, X_train, y_train, cv=cv, scoring="roc_auc").mean() لكلٍّ منهما."],"explanation":"متوسط الشجرة العادية نحو 0.72؛ ومع المعدّلين يصعد بعدة نقاط، ويعود الفضل في معظم ذلك إلى orders_per_month، الذي يصبح السؤال الأول في الشجرة. ولأن الـ features تعيش داخل الـ pipeline، يحسبها التحقق المتقاطع وأي تنبؤ لاحق بالطريقة نفسها، ولأن كل قيمة تعتمد على صفّها وحده، فلا شيء يتسرّب بين الطيّات. أجرِ المقارنة نفسها مع الانحدار اللوجستي ولن ترى تغييرًا يُذكر: النماذج المختلفة تحتاج إلى مساعدة مختلفة.