{"id":"l-ml-4-3","courseId":"ml-crash-course","lang":"ar","kind":"lesson","summary":"اضبط الـ hyperparameters باستخدام GridSearchCV وRandomizedSearchCV مع أسماء خطوات الـ pipeline، واقرأ cv_results_، وحافظ على أمانة نتيجة الاختبار النهائية بعد البحث.","html":"

كل نموذج حتى الآن كانت له إعدادات اخترتها يدويًا أو تركتها على قيمها الافتراضية: C=1.0 وmax_depth=3 وmin_samples_leaf=5. بعض هذه الخيارات مهم جدًا، وبعضها لا يكاد يهم، والطريقة الوحيدة لمعرفة ذلك هي التجربة. والتجربة يدويًا تعني حلقات تكرار ومسك دفاتر وإغراءً باختلاس النظر إلى بيانات الاختبار. أدوات البحث في scikit-learn تفعل ذلك كما ينبغي، مع تحقق متقاطع مدمج.

\n

البحث الشبكي

\n

يأخذ GridSearchCV estimator وقاموسًا من قيم المعاملات ومخطط تحقق متقاطع. ويطبّق التحقق المتقاطع على كل تركيبة، ويختار صاحبة أفضل متوسط، ويعيد تدريبها على بيانات التدريب كلها. وبعد ذلك يتصرّف كالنموذج الفائز.

\n

يُشار إلى المعاملات داخل الـ pipeline باسم الخطوة، ثم شرطتين سفليتين، ثم اسم المعامل. ولهذا تؤتي تسميةُ خطواتك ثمارها.

\n
Python
import pandas as pd\nfrom sklearn.linear_model import LogisticRegression\nfrom sklearn.model_selection import GridSearchCV, StratifiedKFold, train_test_split\nfrom sklearn.pipeline import Pipeline\nfrom sklearn.preprocessing import StandardScaler\n\nchurn = pd.read_csv(\"churn.csv\")\nfeatures = [\"tenure_days\", \"orders\", \"total_spent\", \"avg_order_value\",\n            \"days_since_last_order\", \"used_coupon\", \"support_tickets\", \"mobile_share\"]\nX_train, X_test, y_train, y_test = train_test_split(\n    churn[features], churn[\"churned\"], test_size=0.25, random_state=42,\n    stratify=churn[\"churned\"])\ncv = StratifiedKFold(n_splits=5, shuffle=True, random_state=42)\n\npipe = Pipeline([(\"scale\", StandardScaler()), (\"model\", LogisticRegression())])\nsearch = GridSearchCV(pipe, {\"model__C\": [0.01, 0.03, 0.1, 0.3, 1, 3, 10]},\n                      cv=cv, scoring=\"roc_auc\")\nsearch.fit(X_train, y_train)\n\nresults = pd.DataFrame(search.cv_results_)\nprint(results[[\"param_model__C\", \"mean_test_score\", \"std_test_score\"]].round(3))\nprint(\"best:\", search.best_params_, \"CV AUC\", round(search.best_score_, 3))
\n

يحمل cv_results_ نتائج الطيّات لكل تركيبة؛ وتصفّحه سهل حين يكون DataFrame. وهنا التصفّح نفسه هو الاستنتاج: من C=0.03 إلى C=10 يتحرك متوسط الـ AUC بأقل من نصف نقطة، وهذا أصغر بكثير من التشتّت بين الطيّات. ثمانية features حسنة السلوك لا تترك للانحدار اللوجستي مجالًا للـ overfitting، فلا تكاد عقوبته تهم. الضبط لا يستطيع إنقاذ نموذج بلغ سقفه أصلًا؛ أما features أفضل أو عائلة نماذج مختلفة فقد تستطيع.

\n

لاحظ أن القيم متباعدة بعوامل تقارب الثلاثة. في المعاملات التي تعمل بشكل ضربي (C وalpha ومعدّلات التعلّم)، ابحث على مقياس لوغاريتمي؛ فالقيم 0.01 و0.1 و1 و10 تغطي مساحة أكبر بكثير من 1 و2 و3 و4.

\n

شبكة حيث يهمّ الأمر

\n

الأشجار قصة أخرى. العمق والحدّ الأدنى لحجم الورقة يتحكمان في مقدار ما تستطيع الشجرة حفظه، والقيم الصحيحة تعتمد على البيانات.

\n
Python
import pandas as pd\nfrom sklearn.model_selection import GridSearchCV, StratifiedKFold, train_test_split\nfrom sklearn.tree import DecisionTreeClassifier\n\nchurn = pd.read_csv(\"churn.csv\")\nfeatures = [\"tenure_days\", \"orders\", \"total_spent\", \"avg_order_value\",\n            \"days_since_last_order\", \"used_coupon\", \"support_tickets\", \"mobile_share\"]\nX_train, X_test, y_train, y_test = train_test_split(\n    churn[features], churn[\"churned\"], test_size=0.25, random_state=42,\n    stratify=churn[\"churned\"])\ncv = StratifiedKFold(n_splits=5, shuffle=True, random_state=42)\n\ngrid = {\"max_depth\": [2, 3, 4, 5, None], \"min_samples_leaf\": [1, 5, 10, 20, 40]}\nsearch = GridSearchCV(DecisionTreeClassifier(random_state=42), grid, cv=cv, scoring=\"roc_auc\")\nsearch.fit(X_train, y_train)\n\ntop = pd.DataFrame(search.cv_results_).sort_values(\"rank_test_score\")\nprint(top[[\"param_max_depth\", \"param_min_samples_leaf\", \"mean_test_score\"]].head(5).round(3))\nprint(\"worst:\", round(top[\"mean_test_score\"].min(), 3))\nprint(\"best:\", search.best_params_, \"| test AUC\", round(search.score(X_test, y_test), 3))
\n

25 تركيبة × 5 طيّات = 125 عملية تدريب، إضافة إلى إعادة تدريب نهائية واحدة. والتشتّت واسع: أسوأ الأشجار (بعمق غير محدود وأوراق من عميل واحد) تحقق نتائج أدنى بكثير من الأفضل. تستخدم search.score مقياس scoring نفسه المستخدم في البحث، فهي تُبلغ هنا عن الـ ROC AUC على بيانات الاختبار.

\n

البحث العشوائي

\n

تكبر الشبكات بشكل ضربي. أربعة معاملات بستّ قيم لكلٍّ منها تعني 1,296 تركيبة، مضروبة في خمس طيّات. أما RandomizedSearchCV فيسحب بدلًا من ذلك عددًا ثابتًا من التركيبات (n_iter)، ويقبل التوزيعات إلى جانب القوائم.

\n
\n مربّعان، المعامل المهم على المحور الأفقي وغير المهم على العمودي. تضع الشبكة تسع نقاط في شبكة 3 في 3، فلا تختبر إلا ثلاث قيم مختلفة للمعامل المهم. أما البحث العشوائي فينثر تسع نقاط، فيختبر تسع قيم مختلفة.\n \n \n \n \n \n \n \n \n الشبكة: 3 قيم مُجرَّبة\n العشوائي: 9 قيم مُجرَّبة\n المهم →\n
البحث الشبكي مقابل البحث العشوائي بالمحاولات التسع نفسها
\n

حين لا يهمّ حقًا إلا معامل أو اثنان، وهي الحالة المعتادة، يستكشف البحث العشوائي قيمًا مختلفة لهما أكثر بكثير بالميزانية نفسها.

\n
Python
import pandas as pd\nfrom scipy.stats import randint\nfrom sklearn.ensemble import RandomForestClassifier\nfrom sklearn.model_selection import RandomizedSearchCV, StratifiedKFold, train_test_split\n\nchurn = pd.read_csv(\"churn.csv\")\nfeatures = [\"tenure_days\", \"orders\", \"total_spent\", \"avg_order_value\",\n            \"days_since_last_order\", \"used_coupon\", \"support_tickets\", \"mobile_share\"]\nX_train, X_test, y_train, y_test = train_test_split(\n    churn[features], churn[\"churned\"], test_size=0.25, random_state=42,\n    stratify=churn[\"churned\"])\ncv = StratifiedKFold(n_splits=5, shuffle=True, random_state=42)\n\nspace = {\"max_features\": [1, 2, 3, 4, \"sqrt\"], \"min_samples_leaf\": randint(1, 30)}\nsearch = RandomizedSearchCV(RandomForestClassifier(n_estimators=60, random_state=42), space,\n                            n_iter=8, cv=cv, scoring=\"roc_auc\", random_state=42)\nsearch.fit(X_train, y_train)\nprint(\"best:\", search.best_params_)\nprint(\"CV AUC\", round(search.best_score_, 3), \"| test AUC\", round(search.score(X_test, y_test), 3))
\n

تسحب randint(1, 30) من SciPy أعدادًا صحيحة من 1 إلى 29؛ وloguniform(0.01, 10) هو الخيار المعتاد لـ C أو معدّلات التعلّم. اضبط random_state على البحث كي يسحب المرشّحين أنفسهم في كل تشغيل.

\n

البحث في ما هو أبعد من إعدادات النموذج

\n

لأن البحث يضبط الـ pipeline كله، فخيارات المعالجة المسبقة مشمولة أيضًا. إدخال في الشبكة مثل "prep__sat__simpleimputer__strategy": ["mean", "median"] يقارن استراتيجيات الملء بالطيّات الأمينة نفسها. بل يمكنك تمرير قائمة من الشبكات، واحدة لكل عائلة نماذج، وترك البحث يبدّل الخطوة الأخيرة: [{"model": [LogisticRegression()], "model__C": [0.1, 1]}, {"model": [RandomForestClassifier()], "model__min_samples_leaf": [5, 20]}]. هذا أنيق، لكنه يضاعف عمليات التدريب بسرعة، ويُخفي جدول المقارنة الذي تريد أن تعرضه على زميل. ولحفنة من النماذج المرشّحة، كثيرًا ما تكون حلقة بسيطة من استدعاءات cross_validate بالـ splitter نفسه أوضح.

\n\n\n

عمليات البحث تضاعف عدد النماذج التي تدرّبها، ومعها عدد الفرص لتسرّب المعلومات من بيانات التحقق إلى التدريب. الدرس القادم دليل ميداني لتسرّب البيانات: كيف يحدث، وكيف تكتشفه، ولماذا ينتج أفضل النتائج التي ستراها في حياتك.

\n","toc":[{"id":"sec-1","text":"البحث الشبكي","level":2},{"id":"sec-2","text":"شبكة حيث يهمّ الأمر","level":2},{"id":"sec-3","text":"البحث العشوائي","level":2},{"id":"sec-4","text":"البحث في ما هو أبعد من إعدادات النموذج","level":2}],"takeaways":["يجرّب GridSearchCV كل تركيبة في الشبكة مع تحقق متقاطع لكلٍّ منها؛ ويسحب RandomizedSearchCV عددًا ثابتًا من التركيبات من قوائم أو توزيعات.","داخل الـ pipeline، يُشار إلى المعاملات بالصيغة step__parameter، مثل model__C.","بعد البحث، يحمل best_params_ الفائز، وbest_estimator_ هو ذلك النموذج بعد إعادة تدريبه على بيانات التدريب كلها.","قيمة best_score_ متفائلة قليلًا لأنها الأفضل من بين محاولات كثيرة؛ وبيانات الاختبار تعطي الرقم غير المنحاز.","ابحث على مقياس لوغاريتمي في معاملات مثل C وalpha وlearning_rate، وتوقّع أن يضيف الضبط نقاطًا، لا معجزات."],"further":[{"title":"Tuning the hyper-parameters of an estimator","url":"https://scikit-learn.org/stable/modules/grid_search.html"},{"title":"GridSearchCV","url":"https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.GridSearchCV.html"},{"title":"RandomizedSearchCV","url":"https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.RandomizedSearchCV.html"}],"quiz":[{"q":"

الـ pipeline لديك هو Pipeline([("prep", preprocess), ("clf", LogisticRegression())]). أيّ شبكة تضبط قوة الـ regularization؟

","options":[{"text":"{"C": [0.1, 1, 10]}","why":"لا يوجد في الـ pipeline معامل اسمه C؛ وسيرفع البحث خطأ معامل غير صالح."},{"text":"{"LogisticRegression__C": [0.1, 1, 10]}","why":"البادئة هي اسم الخطوة، لا اسم الصنف."},{"text":"{"clf.C": [0.1, 1, 10]}","why":"يستخدم scikit-learn شرطتين سفليتين، لا نقطة، للوصول إلى داخل الخطوات."},{"text":"{"clf__C": [0.1, 1, 10]}","why":"صحيح. اسم الخطوة، ثم شرطتان سفليتان، ثم اسم المعامل."}],"answer":3},{"q":"

في شبكة 5 قيم لـ max_depth و5 قيم لـ min_samples_leaf، مع cv=5. كم نموذجًا يُدرَّب، بما في ذلك إعادة التدريب النهائية؟

","options":[{"text":"126: أي 25 تركيبة × 5 طيّات، إضافة إلى إعادة تدريب واحدة على بيانات التدريب كلها.","why":"صحيح. مع القيمة الافتراضية refit=True يُعاد تدريب الفائز مرة أخرى في النهاية."},{"text":"25: واحد لكل تركيبة.","why":"كل تركيبة تخضع للتحقق المتقاطع، فتُدرَّب مرة لكل طيّة."},{"text":"10: خمس قيم زائد خمس قيم.","why":"تجرّب الشبكة كل تركيبة، لا كل قيمة على حدة."}],"answer":0},{"q":"

لماذا قد يتفوّق RandomizedSearchCV بعشرين تكرارًا على شبكة من 400 تركيبة بالميزانية الزمنية نفسها؟

","options":[{"text":"لأن البحث العشوائي يستخدم مُحسِّنًا أذكى يتعلّم من المحاولات السابقة.","why":"البحث العشوائي العادي لا يتعلّم بين المحاولات؛ فكل عيّنة مستقلة."},{"text":"لأن البحث العشوائي يجد دائمًا القيمة المثلى الحقيقية.","why":"إنه يسحب عيّنات، فقد يفوّت القيمة المثلى؛ والغاية الكفاءة، لا الضمانات."},{"text":"لأنه حين لا يهمّ إلا عدد قليل من المعاملات، يجرّب السحب العشوائي قيمًا مختلفة لتلك المعاملات أكثر بكثير مما تجرّبه الشبكة.","why":"صحيح. تهدر الشبكة المحاولات في تكرار قيم المعامل المهم نفسها بينما تنوّع المعاملات غير المهمة."}],"answer":2},{"q":"

يُبلغ البحث عن best_score_ = 0.813، ويحقق النموذج المُعاد تدريبه 0.805 على بيانات الاختبار. ما الذي يحدث؟

","options":[{"text":"لا بد أن بيانات الاختبار تتسرّب، فالنتائج يجب أن تتطابق تمامًا.","why":"النتائج تختلف على بيانات مختلفة؛ والتسرّب كان سيرفع نتيجة الاختبار، لا أن يخفضها."},{"text":"أفضل نتيجة من بين نتائج تحقق متقاطع كثيرة متفائلة قليلًا؛ ونتيجة الاختبار هي التقدير الأمين.","why":"صحيح. اختيار الحدّ الأقصى من نتائج مليئة بالضجيج يحابي الإعدادات المحظوظة، وهي “لعنة الفائز”."},{"text":"إعادة التدريب على بيانات التدريب كلها جعلت النموذج أسوأ.","why":"نادرًا ما تضرّ بيانات التدريب الإضافية؛ والفجوة تأتي من طريقة اختيار الفائز."}],"answer":1}],"exercise":{"kind":"python","files":["churn.csv"],"starter":"import pandas as pd\nfrom sklearn.model_selection import GridSearchCV, StratifiedKFold, train_test_split\nfrom sklearn.neighbors import KNeighborsClassifier\nfrom sklearn.pipeline import Pipeline\nfrom sklearn.preprocessing import StandardScaler\n\nchurn = pd.read_csv(\"churn.csv\")\nfeatures = [\"tenure_days\", \"orders\", \"total_spent\", \"avg_order_value\",\n \"days_since_last_order\", \"used_coupon\", \"support_tickets\", \"mobile_share\"]\nX_train, X_test, y_train, y_test = train_test_split(\n churn[features], churn[\"churned\"], test_size=0.25, random_state=42,\n stratify=churn[\"churned\"])\ncv = StratifiedKFold(n_splits=5, shuffle=True, random_state=42)\n\npipe = Pipeline([(\"scale\", StandardScaler()), (\"knn\", KNeighborsClassifier())])\n\n# 1. Grid: n_neighbors in [5, 15, 25, 35, 51] and weights in [\"uniform\", \"distance\"]\ngrid = {\"n_neighbors\": [5, 15, 25, 35, 51], \"weights\": [\"uniform\", \"distance\"]}\n\n# 2. Search with the provided cv, scoring ROC AUC, fitted on the training data\nsearch = None\n\n# 3. Results\nbest_params = None\nbest_cv_auc = None\ntest_auc = None # ROC AUC of the refit best model on the test set\n","solution":"import pandas as pd\nfrom sklearn.model_selection import GridSearchCV, StratifiedKFold, train_test_split\nfrom sklearn.neighbors import KNeighborsClassifier\nfrom sklearn.pipeline import Pipeline\nfrom sklearn.preprocessing import StandardScaler\n\nchurn = pd.read_csv(\"churn.csv\")\nfeatures = [\"tenure_days\", \"orders\", \"total_spent\", \"avg_order_value\",\n \"days_since_last_order\", \"used_coupon\", \"support_tickets\", \"mobile_share\"]\nX_train, X_test, y_train, y_test = train_test_split(\n churn[features], churn[\"churned\"], test_size=0.25, random_state=42,\n stratify=churn[\"churned\"])\ncv = StratifiedKFold(n_splits=5, shuffle=True, random_state=42)\n\npipe = Pipeline([(\"scale\", StandardScaler()), (\"knn\", KNeighborsClassifier())])\n\ngrid = {\"knn__n_neighbors\": [5, 15, 25, 35, 51], \"knn__weights\": [\"uniform\", \"distance\"]}\n\nsearch = GridSearchCV(pipe, grid, cv=cv, scoring=\"roc_auc\")\nsearch.fit(X_train, y_train)\n\nbest_params = search.best_params_\nbest_cv_auc = search.best_score_\ntest_auc = search.score(X_test, y_test)\nprint(best_params, round(best_cv_auc, 3), round(test_auc, 3))\n","checks":[{"id":"grid-names","test":"set(grid) == {'knn__n_neighbors', 'knn__weights'}"},{"id":"searched","test":"search is not None and len(search.cv_results_['params']) == 10 and search.scoring == 'roc_auc' and search.cv is cv and hasattr(search, 'best_estimator_')"},{"id":"best","test":"best_params is not None and best_params == search.best_params_ and best_params['knn__n_neighbors'] in [15, 25, 35, 51] and abs(float(best_cv_auc) - float(search.best_score_)) < 1e-9 and 0.77 < float(best_cv_auc) < 0.82"},{"id":"test-auc","test":"test_auc is not None and abs(float(test_auc) - float(search.score(X_test, y_test))) < 1e-9 and 0.75 < float(test_auc) < 0.82"}],"title":"اضبط أقرب k جيران","prompt":"

جد أفضل عدد من الجيران لـ pipeline من k-NN بعد توحيد المقاييس.

\n
    \n
  1. أصلح grid بحيث تشير مفاتيحه إلى الخطوة knn في الـ pipeline (مفاتيح الكود المبدئي سترفع خطأ معامل غير صالح).
    2. \n
  2. search: نموذج GridSearchCV على pipe مع cv المعطى وscoring="roc_auc"، مدرَّبًا على بيانات التدريب.
    3. \n
  3. best_params وbest_cv_auc: الإعدادات الفائزة ومتوسط الـ AUC الخاص بها بالتحقق المتقاطع. وtest_auc: قيمة الـ ROC AUC للفائز بعد إعادة تدريبه، على بيانات الاختبار.
    4. \n
\n","hints":["معاملات الـ pipeline صيغتها <اسم الخطوة>__<المعامل>: وهنا knn__n_neighbors وknn__weights.","GridSearchCV(pipe, grid, cv=cv, scoring="roc_auc").fit(X_train, y_train)","search.best_params_ وsearch.best_score_ وsearch.score(X_test, y_test) (التي تستخدم مقياس البحث نفسه)."],"explanation":"

خمسة جيران عدد قليل جدًا: فكل تنبؤ يرتكز على حفنة من العملاء، والـ AUC نحو 0.75. وعند 25–35 جارًا يتحسّن الترتيب إلى نحو 0.79، ولا يكاد يختلف مخططا الترجيح. يحقق الفائز (35، uniform) قيمة 0.795 بالتحقق المتقاطع و0.785 على بيانات الاختبار: أقل قليلًا، كما هو متوقع من الأفضل بين عشر محاولات. وما زال متأخرًا بشيء يسير عن الانحدار اللوجستي، فيحتفظ النموذج الأبسط بمكانه.

\n","checkLabels":{"grid-names":"مفاتيح grid تستخدم البادئة knn__","searched":"جرّب search التركيبات العشر كلها مع ROC AUC","best":"best_params وbest_cv_auc مأخوذان من البحث","test-auc":"test_auc هي قيمة ROC AUC للفائز المُعاد تدريبه على بيانات الاختبار"}},"words":639,"readMinutes":4}