{"id":"l-ml-3-3","courseId":"ml-crash-course","lang":"ar","kind":"lesson","summary":"اجمع أشجارًا كثيرة باستخدام الغابات العشوائية والـ gradient boosting، واستفد من تعامل HistGradientBoostingClassifier المدمج مع القيم المفقودة، وقِس أهمية الـ features بالـ permutation importance.","html":"

شجرة القرار الواحدة سهلة القراءة وسهلة الكسر: غيّر بضعة صفوف تدريب وستتبدّل الفروع. والعلاج حيلة إحصائية قديمة: اسأل مقدِّرات كثيرة مستقلة ومختلفة قليلًا، واجمع إجاباتها. أخطاء كلٍّ منها تتلاشى جزئيًا، وما يتبقى أكثر موثوقية من أي عضو منفرد. النماذج المبنية بهذه الطريقة هي النماذج المجمّعة (ensembles)، وفي البيانات الجدولية مثل بيانات الانقطاع، هي ما يلجأ إليه معظم الممارسين بعد خطوط الأساس والنموذج الخطي.

\n

الغابات العشوائية: أشجار كثيرة، ومتوسط

\n

تنمّي الغابة العشوائية بضع مئات من الأشجار العميقة، كلٌّ منها على عيّنة bootstrap مختلفة (صفوف التدريب مسحوبة مع الإرجاع، فترى كل شجرة مجموعة بيانات مختلفة قليلًا)، ولا ترى عند كل تقسيم إلا مجموعة فرعية عشوائية من الـ features. هذه الحيلة الثانية تمنع كل الأشجار من أن تبدأ بالـ feature المهيمن نفسه، فتصبح الأشجار أكثر اختلافًا عن بعضها، وتصبح أخطاؤها أقل ترابطًا. وللتنبؤ، تأخذ الغابة متوسط احتمالات الأشجار.

\n

الـ Gradient Boosting: أشجار يصلح بعضها بعضًا

\n

يسلك الـ boosting النهج المعاكس. فهو يبني أشجارًا ضحلة واحدة في كل مرة. الأولى تعطي تنبؤات تقريبية؛ والثانية تُدرَّب على الأخطاء التي تركتها الأولى؛ والثالثة على ما لا تزال الأوليان تخطئان فيه، وهكذا. ومساهمة كل شجرة تُصغَّر بمقدار learning_rate، فتزحف المجموعة نحو إجابة جيدة بدل أن تترنّح. والمزيد من الأشجار (max_iter) ومعدّل تعلّم أعلى يلائمان بيانات التدريب بدقة أكبر، ثم يقعان في النهاية في الـ overfitting.

\n
\n الصف العلوي، الغابة العشوائية: ثلاث أشجار مدرَّبة باستقلال على عيّنات مختلفة تصبّ في متوسط. الصف السفلي، الـ gradient boosting: الشجرة 1 تمرّر أخطاءها إلى الشجرة 2، التي تمرّر أخطاءها المتبقية إلى الشجرة 3، وتُجمع مخرجاتها بعد تصغيرها.\n الغابة العشوائية (bagging)\n شجرة على العيّنة 1\n شجرة على العيّنة 2\n شجرة على العيّنة 3\n \n متوسط الأصوات\n Gradient boosting\n الشجرة 1\n \n الشجرة 2 على الأخطاء\n \n الشجرة 3 على الأخطاء\n \n مجموع مصغَّر بمعدّل التعلّم\n كل شجرة تعتمد على ما سبقها\n
الـ bagging يأخذ المتوسط بالتوازي؛ والـ boosting يصحّح بالتتابع
\n

كلاهما على بيانات الانقطاع، مع عودة العمود الناقص

\n

حتى الآن استبعدت avg_satisfaction لأن نصف قيمه فارغة. أما HistGradientBoostingClassifier، وهو تطبيق الـ boosting السريع في scikit-learn، فيتعامل مع القيم المفقودة بشكل أصيل: عند كل تقسيم يتعلّم إلى أيّ جهة يجب أن تذهب الفراغات. والإصدارات الحديثة من DecisionTreeClassifier وRandomForestClassifier تقبل NaN أيضًا. أما LogisticRegression وk-NN فما زالا لا يقبلانها؛ ويرفعان ValueError: Input X contains NaN.

\n
Python
import pandas as pd\nfrom sklearn.ensemble import HistGradientBoostingClassifier, RandomForestClassifier\nfrom sklearn.linear_model import LogisticRegression\nfrom sklearn.model_selection import train_test_split\nfrom sklearn.pipeline import make_pipeline\nfrom sklearn.preprocessing import StandardScaler\n\nchurn = pd.read_csv(\"churn.csv\")\nfeatures = [\"tenure_days\", \"orders\", \"total_spent\", \"avg_order_value\",\n            \"days_since_last_order\", \"used_coupon\", \"support_tickets\", \"mobile_share\",\n            \"avg_satisfaction\"]\nX_train, X_test, y_train, y_test = train_test_split(\n    churn[features], churn[\"churned\"], test_size=0.25, random_state=42,\n    stratify=churn[\"churned\"])\n\nno_gaps = features[:-1]  # logistic regression can't take the NaNs in avg_satisfaction\nmodels = {\n    \"logistic (no satisfaction)\": (make_pipeline(StandardScaler(), LogisticRegression()), no_gaps),\n    \"random forest\": (RandomForestClassifier(n_estimators=300, min_samples_leaf=5,\n                                             random_state=42), features),\n    \"boosting, defaults\": (HistGradientBoostingClassifier(random_state=42), features),\n    \"boosting, gentle\": (HistGradientBoostingClassifier(max_depth=3, learning_rate=0.05,\n                                                        max_iter=200, random_state=42), features),\n}\nfor name, (model, cols) in models.items():\n    model.fit(X_train[cols], y_train)\n    print(f\"{name:27} train {model.score(X_train[cols], y_train):.2f}  \"\n          f\"test {model.score(X_test[cols], y_test):.2f}\")
\n

تبلغ الغابة 0.76 والـ boosting المضبوط بلطف 0.78، مقابل 0.72 للانحدار اللوجستي وللقاعدة. أما الـ boosting بإعداداته الافتراضية فيلائم بيانات التدريب بشكل شبه مثالي (0.99) ويؤدي أسوأ من النسخة اللطيفة: فعلى 298 صفًا، الإعدادات الافتراضية متحمّسة أكثر من اللازم. والأشجار الأضحل مع معدّل تعلّم أصغر تُبقيه تحت السيطرة.

\n

لا تتمسّك بهذه الأرقام بشدة. فعلى بيانات اختبار من 100 عميل، النقطتان تعنيان عميلين. يضيف الدرس القادم مقياسًا لجودة الترتيب، وسيخبرك التحقق المتقاطع في القسم 4 ما إذا كانت أفضلية النماذج المجمّعة تصمد أمام خلط مختلف.

\n

على ماذا تعتمد الأشجار؟

\n

توفّر الغابات feature_importances_، لكن هذه الأرقام تُحسب على بيانات التدريب من مقدار ما خفّضه كل feature من عدم النقاوة، وهي منحازة لصالح الـ features المتصلة ذات العتبات المحتملة الكثيرة. أما الـ permutation importance (أهمية التبديل) فتطرح سؤالًا أدقّ على بيانات محجوزة: إذا خلطت هذا العمود وحده، فقطعت صلته بالهدف، فكم تنخفض النتيجة؟

\n
Python
import pandas as pd\nfrom sklearn.ensemble import RandomForestClassifier\nfrom sklearn.inspection import permutation_importance\nfrom sklearn.model_selection import train_test_split\n\nchurn = pd.read_csv(\"churn.csv\")\nfeatures = [\"tenure_days\", \"orders\", \"total_spent\", \"avg_order_value\",\n            \"days_since_last_order\", \"used_coupon\", \"support_tickets\", \"mobile_share\",\n            \"avg_satisfaction\"]\nX_train, X_test, y_train, y_test = train_test_split(\n    churn[features], churn[\"churned\"], test_size=0.25, random_state=42,\n    stratify=churn[\"churned\"])\nforest = RandomForestClassifier(n_estimators=300, min_samples_leaf=5, random_state=42).fit(X_train, y_train)\n\nresult = permutation_importance(forest, X_test, y_test, n_repeats=10, random_state=42)\ntable = pd.DataFrame({\"impurity (train)\": forest.feature_importances_,\n                      \"permutation (test)\": result.importances_mean}, index=features)\nprint(table.sort_values(\"permutation (test)\", ascending=False).round(3))
\n

تضع أهمية عدم النقاوة tenure_days في المرتبة الثانية. أما الـ permutation importance على بيانات الاختبار فتقول إنه لا يكاد يهمّ: لقد استخدمته الغابة لملاءمة الضجيج في بيانات التدريب. خلط حداثة آخر طلب يكلّف نحو 13 نقطة من الـ accuracy؛ وخلط الرضا لا يكلّف شيئًا (القيم السالبة الصغيرة ضجيج). والخلاصة الأمينة لـ Cartwheel: حداثة آخر طلب وعدد الطلبات هما ما يحرّك التنبؤات، واستبيان الرضا بحالته الراهنة نصف الفارغة لا يضيف شيئًا.

\n\n\n

حملتك الـ accuracy حتى هنا، لكنها تعامل العميل المنقطع الذي فاتك والإنذار الكاذب على أنهما سيئان بالقدر نفسه، وتتجاهل الترتيب الذي بنيته لفريق التسويق. الدرس القادم يستبدلها بمقاييس تنظر في كل نوع من الأخطاء على حدة.

\n","toc":[{"id":"sec-1","text":"الغابات العشوائية: أشجار كثيرة، ومتوسط","level":2},{"id":"sec-2","text":"الـ Gradient Boosting: أشجار يصلح بعضها بعضًا","level":2},{"id":"sec-3","text":"كلاهما على بيانات الانقطاع، مع عودة العمود الناقص","level":2},{"id":"sec-4","text":"على ماذا تعتمد الأشجار؟","level":2}],"takeaways":["تدرّب الغابة العشوائية (random forest) أشجارًا عميقة كثيرة على عيّنات bootstrap مع مجموعات فرعية عشوائية من الـ features، ثم تأخذ متوسط أصواتها، فيُلغى جزء كبير من تباين الشجرة الواحدة.","يبني الـ gradient boosting أشجارًا ضحلة واحدة تلو الأخرى، كلٌّ منها مدرَّبة على أخطاء المجموعة حتى تلك اللحظة؛ ويوازن learning_rate وmax_iter بين السرعة والـ overfitting.","HistGradientBoostingClassifier هو نموذج الـ boosting السريع في scikit-learn، ويقبل القيم المفقودة (NaN) مباشرة.","قيم feature_importances_ المبنية على عدم النقاوة تحابي الـ features ذات القيم المختلفة الكثيرة؛ أما الـ permutation importance على بيانات محجوزة فتقيس ما يعتمد عليه النموذج فعلًا.","في مجموعات البيانات الجدولية الصغيرة، كثيرًا ما لا تضيف النماذج المجمّعة إلا بضع نقاط فوق نموذج خطي جيد، فقارنها به بدل أن تفترض أنها ستفوز."],"further":[{"title":"Ensembles: Gradient boosting, random forests, bagging","url":"https://scikit-learn.org/stable/modules/ensemble.html"},{"title":"HistGradientBoostingClassifier","url":"https://scikit-learn.org/stable/modules/generated/sklearn.ensemble.HistGradientBoostingClassifier.html"},{"title":"Permutation feature importance","url":"https://scikit-learn.org/stable/modules/permutation_importance.html"}],"quiz":[{"q":"

لماذا تتفوّق الغابة العشوائية عادةً على شجرة واحدة غير مقيّدة مع البيانات الجديدة؟

","options":[{"text":"لأن كل شجرة فيها أضحل، فلا تستطيع الوقوع في الـ overfitting.","why":"أشجار الغابة تُنمّى عادةً عميقة. والفائدة تأتي من أخذ المتوسط، لا من تقييد كل شجرة."},{"text":"لأنها تستخدم الـ gradient descent لضبط الأشجار معًا.","why":"أشجار الغابة تُدرَّب مستقلة؛ ولا شيء يربطها ببعضها أثناء التدريب."},{"text":"لأنها تتدرّب على بيانات أكثر من الشجرة الواحدة.","why":"كل شجرة ترى عيّنة bootstrap من بيانات التدريب نفسها، فلا بيانات إضافية هنا."},{"text":"لأن أخذ متوسط أشجار كثيرة مدرَّبة على عيّنات ومجموعات features مختلفة يُلغي أخطاءها الفردية.","why":"صحيح. كل شجرة تقع في الـ overfitting بطريقتها الخاصة؛ والأخطاء مستقلة جزئيًا، فيكون المتوسط أكثر استقرارًا."}],"answer":3},{"q":"

في الـ gradient boosting، ماذا تتعلّم كل شجرة جديدة؟

","options":[{"text":"تصحيح الأخطاء التي ما زالت ترتكبها المجموعة المبنية حتى الآن.","why":"صحيح. الـ boosting تسلسلي؛ وكل شجرة تستهدف ما تبقّى."},{"text":"الهدف نفسه الذي تعلّمته الشجرة الأولى، على عيّنة bootstrap جديدة.","why":"هذا وصف الـ bagging، الفكرة التي تقوم عليها الغابات العشوائية."},{"text":"مجموعة فرعية عشوائية من الـ features، متجاهلة الأشجار السابقة.","why":"المجموعات الفرعية العشوائية من الـ features حيلة الغابات. أما أشجار الـ boosting فتعتمد على الأشجار التي قبلها."}],"answer":0},{"q":"

العمود avg_satisfaction فارغ لنصف العملاء. أيّ نموذج يمكنك تدريبه عليه دون معالجة مسبقة إضافية؟

","options":[{"text":"LogisticRegression، لأنه يتجاهل القيم المفقودة.","why":"يرفع ValueError: Input X contains NaN. ستحتاج إلى imputer أولًا."},{"text":"HistGradientBoostingClassifier، الذي يتعلّم عند كل تقسيم الفرعَ الذي يجب أن تسلكه القيم المفقودة.","why":"صحيح. الدعم الأصيل لقيم NaN من أهم مزاياه العملية."},{"text":"KNeighborsClassifier، لأنه يتخطّى الأعمدة المفقودة عند قياس المسافة.","why":"يرفع k-NN خطأً مع NaN أيضًا؛ فلا يمكن حساب المسافات مع وجود فجوات."}],"answer":1},{"q":"

يضع feature_importances_ الخاص بالغابة tenure_days في المرتبة الثانية، لكن الـ permutation importance على بيانات الاختبار تعطيه ما يقارب الصفر. ما التفسير الأرجح؟

","options":[{"text":"الـ permutation importance معطوبة في الغابات العشوائية.","why":"تعمل مع أي نموذج؛ فهي لا تحتاج إلا إلى تنبؤات ونتيجة."},{"text":"بيانات الاختبار أصغر من أن تحتوي tenure_days.","why":"كل صف فيه هذا الـ feature. بيانات الاختبار الصغيرة تضيف ضجيجًا، لكن لهذا النمط سببًا معروفًا."},{"text":"استخدمت الغابة tenure_days في تقسيمات كثيرة لاءمت ضجيج التدريب، فتضخّمت أهمية عدم النقاوة دون أن يفيد ذلك مع البيانات الجديدة.","why":"صحيح. أهمية عدم النقاوة تُحسب على بيانات التدريب وتحابي الـ features المتصلة ذات العتبات المحتملة الكثيرة."},{"text":"خلط tenure_days جعل النموذج أدق، وهذا يُثبت أن الـ feature ضار.","why":"النتيجة القريبة من الصفر تعني أن الخلط غيّر القليل، لا أن النموذج تحسّن."}],"answer":2}],"exercise":{"kind":"python","files":["churn.csv"],"starter":"import pandas as pd\nfrom sklearn.ensemble import HistGradientBoostingClassifier\nfrom sklearn.inspection import permutation_importance\nfrom sklearn.model_selection import train_test_split\n\nchurn = pd.read_csv(\"churn.csv\")\nfeatures = [\"tenure_days\", \"orders\", \"total_spent\", \"avg_order_value\",\n \"days_since_last_order\", \"used_coupon\", \"support_tickets\", \"mobile_share\",\n \"avg_satisfaction\"]\nX_train, X_test, y_train, y_test = train_test_split(\n churn[features], churn[\"churned\"], test_size=0.25, random_state=42,\n stratify=churn[\"churned\"])\n\n# 1. Gradient boosting on all nine features (missing values included):\n# max_depth=3, learning_rate=0.05, max_iter=200, random_state=42\nbooster = HistGradientBoostingClassifier(random_state=42)\nbooster.fit(X_train.drop(columns=\"avg_satisfaction\"), y_train)\n\n# 2. Test accuracy\ntest_acc = None\n\n# 3. Permutation importance on the TEST set (n_repeats=5, random_state=0),\n# then the feature names sorted from most to least important\nranking = []\n","solution":"import pandas as pd\nfrom sklearn.ensemble import HistGradientBoostingClassifier\nfrom sklearn.inspection import permutation_importance\nfrom sklearn.model_selection import train_test_split\n\nchurn = pd.read_csv(\"churn.csv\")\nfeatures = [\"tenure_days\", \"orders\", \"total_spent\", \"avg_order_value\",\n \"days_since_last_order\", \"used_coupon\", \"support_tickets\", \"mobile_share\",\n \"avg_satisfaction\"]\nX_train, X_test, y_train, y_test = train_test_split(\n churn[features], churn[\"churned\"], test_size=0.25, random_state=42,\n stratify=churn[\"churned\"])\n\nbooster = HistGradientBoostingClassifier(max_depth=3, learning_rate=0.05, max_iter=200,\n random_state=42)\nbooster.fit(X_train, y_train)\n\ntest_acc = booster.score(X_test, y_test)\n\nresult = permutation_importance(booster, X_test, y_test, n_repeats=5, random_state=0)\nranking = pd.Series(result.importances_mean, index=features).sort_values(ascending=False).index.tolist()\nprint(test_acc, ranking[:3])\n","checks":[{"id":"nine-features","test":"booster.n_features_in_ == 9"},{"id":"settings","test":"booster.max_depth == 3 and booster.learning_rate == 0.05 and booster.max_iter == 200"},{"id":"accuracy","test":"test_acc is not None and 0.74 <= float(test_acc) <= 0.82 and abs(float(test_acc) - booster.score(X_test, y_test)) < 1e-9"},{"id":"ranking","test":"len(ranking) == 9 and set(ranking) == set(features) and ranking[0] == 'days_since_last_order'"}],"title":"طبّق الـ boosting مع إبقاء الفجوات","prompt":"

درّب نموذج gradient boosting على الـ features التسعة كلها، بما فيها avg_satisfaction نصف الفارغ، واكتشف على ماذا يعتمد.

\n
    \n
  1. booster: HistGradientBoostingClassifier(max_depth=3, learning_rate=0.05, max_iter=200, random_state=42) مدرَّبًا على X_train كاملة (دون حذف أي عمود).
    2. \n
  2. test_acc: دقته على بيانات الاختبار.
    3. \n
  3. ranking: قائمة بأسماء الـ features التسعة مرتّبة بحسب الـ permutation importance على بيانات الاختبار (n_repeats=5, random_state=0)، الأهم أولًا.
    4. \n
\n","hints":["لا حاجة إلى ملء القيم المفقودة: HistGradientBoostingClassifier يوجّهها بنفسه.","تُعيد permutation_importance(booster, X_test, y_test, n_repeats=5, random_state=0) كائنًا فيه importances_mean.","ضع المتوسطات في pd.Series فهرسه features، ورتّبها تنازليًا، وخذ .index.tolist()."],"explanation":"

يصل الـ boosting اللطيف إلى نحو 0.78 على بيانات الاختبار، أي أعلى من الانحدار اللوجستي ببضع نقاط. وتضع الـ permutation importance العمود days_since_last_order متقدّمًا بفارق كبير على كل ما عداه، وavg_satisfaction قرب الصفر أو دونه: النموذج يستطيع استخدام العمود، لكن الاستبيان بالشكل الذي جُمع به لا يساعد. وحساب الأهمية على بيانات الاختبار يقيس ما يعمّم، لا ما حفظته الأشجار.

\n","checkLabels":{"nine-features":"النموذج مدرَّب على الـ features التسعة كلها","settings":"يستخدم الـ booster الإعدادات اللطيفة","accuracy":"test_acc هي الدقة على بيانات الاختبار","ranking":"يسرد ranking الـ features التسعة بحسب الـ permutation importance، وحداثة آخر طلب أولًا"}},"words":636,"readMinutes":4}