في الدرس السابق، أعطت الـ polynomial features من الدرجة 2 نموذجَ السكري 65 عمودًا، فانخفضت نتيجة الاختبار من 0.49 إلى 0.42. كان بإمكانك التخلّص من الأعمدة الإضافية. لكن الـ regularization (التنظيم) يقدّم ما هو أفضل: احتفظ بها كلها، لكن اجعل النموذج يدفع ثمن كل وحدة من المعاملات يستخدمها. الأعمدة التي تستحق مكانها تنال وزنًا؛ والبقية تتقلّص.
\nتصغّر المربعات الصغرى العادية الخطأ المربّع ولا شيء غيره. أما الانحدار المنظَّم فيصغّر الخطأ المربّع مضافًا إليه عقوبةٌ تكبر مع حجم المعاملات:
\nalpha * sum(coef ** 2)، وهي عقوبة L2.alpha * sum(abs(coef))، وهي عقوبة L1 (كما أن scikit-learn يعاير حدّ الخطأ بطريقة مختلفة قليلًا، ولهذا تختلف قيم alpha الجيدة بين النموذجين).يحدّد alpha سعر الصرف. عند 0 تعود إلى المربعات الصغرى. ومع ازدياده، يجب على المعامل الكبير أن يشتري خفضًا كبيرًا في الخطأ كي يستحق وجوده. والمعاملات التي لا تلائم إلا الضجيج لا تستطيع ذلك، فتتقلّص. القيم المربّعة تجعل Ridge يقلّص كل شيء بسلاسة؛ والقيم المطلقة تجعل Lasso يدفع المعاملات الضعيفة حتى الصفر.
تجمع العقوبة المعاملات كما لو كانت قابلة للمقارنة. وهي ليست كذلك إلا إذا اشتركت الـ features في مقياس واحد. قِس الإنفاق بالسنتات بدل الدولارات وسيصغر معامله مئة مرة، فلا تكاد العقوبة تلحظه. ضع دائمًا StandardScaler قبل أي نموذج معاقَب.
from sklearn.datasets import load_diabetes\nfrom sklearn.linear_model import LinearRegression, Ridge, Lasso\nfrom sklearn.model_selection import train_test_split\nfrom sklearn.pipeline import make_pipeline\nfrom sklearn.preprocessing import PolynomialFeatures, StandardScaler\n\nX, y = load_diabetes(return_X_y=True, as_frame=True)\nX_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.25, random_state=42)\n\ndef degree2(model):\n return make_pipeline(PolynomialFeatures(degree=2, include_bias=False), StandardScaler(), model)\n\nprint(\"no penalty:\", round(degree2(LinearRegression()).fit(X_train, y_train).score(X_test, y_test), 3))\nfor alpha in [1, 10, 100, 1000]:\n m = degree2(Ridge(alpha=alpha)).fit(X_train, y_train)\n print(f\"Ridge alpha={alpha:<5} train {m.score(X_train, y_train):.3f} test {m.score(X_test, y_test):.3f}\")مع ارتفاع alpha تنخفض نتيجة التدريب باطّراد (إذ يُمنح النموذج حرية أقل)، بينما تصعد نتيجة الاختبار من 0.42 إلى 0.50 عند alpha=100، وهذا أفضل من النموذج العادي ذي الـ features العشرة. ادفعها إلى 1,000 فتنخفض النتيجتان معًا: صار النموذج الآن في الـ underfitting. يحوّل الـ regularization المفاضلةَ بين الـ overfitting والـ underfitting إلى مقبض تديره.
أجرِ التجربة نفسها مع Lasso وعُدّ المعاملات التي تنتهي إلى الصفر بالضبط.
\nfrom sklearn.datasets import load_diabetes\nfrom sklearn.linear_model import Lasso\nfrom sklearn.model_selection import train_test_split\nfrom sklearn.pipeline import make_pipeline\nfrom sklearn.preprocessing import PolynomialFeatures, StandardScaler\n\nX, y = load_diabetes(return_X_y=True, as_frame=True)\nX_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.25, random_state=42)\n\nfor alpha in [0.1, 1, 2, 5]:\n m = make_pipeline(PolynomialFeatures(degree=2, include_bias=False), StandardScaler(),\n Lasso(alpha=alpha)).fit(X_train, y_train)\n zeros = (m[-1].coef_ == 0).sum()\n print(f\"Lasso alpha={alpha:<4} test R2 {m.score(X_test, y_test):.3f} zero coefficients: {zeros} of 65\")\n\nnames = m[0].get_feature_names_out()\nkept = [n for n, c in zip(names, m[-1].coef_) if c != 0]\nprint(\"kept at alpha=5:\", kept)عند alpha=2 يبلغ Lasso قيمة R² على الاختبار تساوي 0.53، وهي أفضل نتيجة انحدار في هذا القسم، مع تجاهله 39 عمودًا من أصل 65. وعند alpha=5 يحتفظ بـ 11 عمودًا: مؤشر كتلة الجسم وضغط الدم وs5 من النماذج السابقة، إضافة إلى بضعة تفاعلات مثل bmi bp. يصل m[-1] إلى آخر خطوة في الـ pipeline، ويُعطي m[0].get_feature_names_out() أسماء الأعمدة المولّدة.
أتذكر s1 عند -918 وs2 عند +508 في الانحدار العادي، قياسَي دم مترابطَين يشدّ أحدهما عكس الآخر؟ مع الـ features الموحّدة المقاييس تظهر القصة نفسها على نطاق أصغر، والعقوبة تحسمها.
يوزّع Ridge الوزن بين الـ features المترابطة بشكل معقول بدل أن يتركها يلغي بعضها بعضًا؛ بينما يميل Lasso إلى الاحتفاظ بأحدها وحذف الآخر. وفي الحالتين تصبح المعاملات مستقرة بما يكفي كي لا ينقلب اتجاهها مع تغيير صغير في بيانات التدريب.
\n\nكلاهما يعالج الداء نفسه، فالاختيار يرجع إلى ما تريده من النموذج النهائي. يفوز Ridge عادةً حين تحمل features كثيرة شيئًا قليلًا من الإشارة لكلٍّ منها، وهذا شائع مع القياسات المتداخلة، مثل قراءات الدم الست هنا. ويفوز Lasso حين تهمّ features قليلة والبقية ضجيج، ويسلّمك قائمة مشتريات أقصر من المدخلات، وهذا مهم حين يجب جمع كل feature وتنظيفه ومراقبته في بيئة الإنتاج. وحين تأتي الـ features في مجموعات مترابطة، قد تكون عادة Lasso في الاحتفاظ بعضو واحد، باعتباطية إلى حدّ ما، غير مستقرة من تدريب إلى آخر. ويمزج ElasticNet العقوبتين لهذه الحالة بالضبط. وعلى مجموعة بيانات بهذا الحجم، الإجابة الأمينة هي أن تجرّب الاثنين على بيانات تحقق وتحتفظ بالفائز، ثم تفضّل الأبسط حين يتعادلان.
بهذا يُختتم الانحدار. وفكرة العقوبة نفسها تعود مباشرة في القسم القادم: LogisticRegression منظَّم افتراضيًا، بمعامل C يعمل كمقلوب alpha. يعيد القسم 3 الهدفَ إلى انقطاع العملاء، نعم أو لا.
alpha هو قوة العقوبة: 0 يعني المربعات الصغرى العادية، والقيم الكبيرة جدًا تسطّح النموذج حتى الـ underfitting.","وحّد مقاييس الـ features قبل النموذج المعاقَب، وإلا عاقبت العقوبةُ الـ features على وحداتها لا على فائدتها.","اختر alpha على بيانات تحقق أو بالتحقق المتقاطع، بالطريقة نفسها التي تختار بها أي hyperparameter."],"further":[{"title":"Ridge regression and classification","url":"https://scikit-learn.org/stable/modules/linear_model.html#ridge-regression-and-classification"},{"title":"Lasso","url":"https://scikit-learn.org/stable/modules/linear_model.html#lasso"},{"title":"Ridge","url":"https://scikit-learn.org/stable/modules/generated/sklearn.linear_model.Ridge.html"}],"quiz":[{"q":"رفعت قيمة alpha في Ridge من 1 إلى 100,000. ماذا يحدث للنموذج؟
alpha الأكبر تجعل المعاملات الكبيرة أغلى، لا أرخص."},{"text":"تصبح معظم المعاملات صفرًا بالضبط، ولا يبقى إلا قليل من الـ features.","why":"هذا سلوك Lasso. أما Ridge فيقلّص المعاملات بسلاسة، لكنه لا يكاد يوصلها إلى الصفر بالضبط أبدًا."}],"answer":0},{"q":"لماذا نضع StandardScaler قبل Lasso في الـ pipeline؟
alpha > 0 يبقى Lasso مختلفًا عن المربعات الصغرى."}],"answer":1},{"q":"تحتاج إلى نموذج انقطاع يستخدم أقل عدد ممكن من 60 feature مرشّحًا. ما الخيار الأول الطبيعي؟
","options":[{"text":"Ridge، لأنه يقلّص المعاملات الستين كلها.","why":"يحتفظ Ridge بكل feature بوزن صغير، فستظل بحاجة إلى المدخلات الستين كلها وقت التنبؤ."},{"text":"الانحدار الخطي العادي، ثم حذف الـ features ذات أصغر المعاملات.","why":"المعاملات غير المعاقَبة للـ features المترابطة غير مستقرة، فـ “الأصغر” معيار غير موثوق."},{"text":"عقوبة L1 (على طريقة Lasso)، لأنها تدفع المعاملات عديمة الفائدة إلى الصفر بالضبط.","why":"صحيح. هذه الأصفار اختيار مدمج للـ features؛ ويمكنك بعدها فحص الـ features التي نجت."}],"answer":2}],"exercise":{"kind":"python","starter":"from sklearn.datasets import load_diabetes\nfrom sklearn.linear_model import Lasso, Ridge\nfrom sklearn.model_selection import train_test_split\nfrom sklearn.pipeline import make_pipeline\nfrom sklearn.preprocessing import PolynomialFeatures, StandardScaler\n\nX, y = load_diabetes(return_X_y=True, as_frame=True)\nX_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.25, random_state=42)\n\n# 1. Pipeline: degree-2 PolynomialFeatures (include_bias=False) -> StandardScaler -> Lasso(alpha=1)\nlasso_model = make_pipeline(PolynomialFeatures(degree=2, include_bias=False), Lasso(alpha=1))\nlasso_model.fit(X_train, y_train)\n\n# 2. Test R2 and the number of coefficients that are exactly zero\nlasso_r2 = None\nn_zero = None\n\n# 3. Names of the generated columns Lasso kept (non-zero coefficient), as a list of strings\nkept = None\n","solution":"from sklearn.datasets import load_diabetes\nfrom sklearn.linear_model import Lasso, Ridge\nfrom sklearn.model_selection import train_test_split\nfrom sklearn.pipeline import make_pipeline\nfrom sklearn.preprocessing import PolynomialFeatures, StandardScaler\n\nX, y = load_diabetes(return_X_y=True, as_frame=True)\nX_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.25, random_state=42)\n\nlasso_model = make_pipeline(PolynomialFeatures(degree=2, include_bias=False), StandardScaler(), Lasso(alpha=1))\nlasso_model.fit(X_train, y_train)\n\nlasso_r2 = lasso_model.score(X_test, y_test)\ncoefs = lasso_model[-1].coef_\nn_zero = int((coefs == 0).sum())\n\nnames = lasso_model[0].get_feature_names_out()\nkept = [name for name, c in zip(names, coefs) if c != 0]\nprint(round(lasso_r2, 3), n_zero, len(kept))\n","checks":[{"id":"scaled","test":"[type(s).__name__ for s in lasso_model] == ['PolynomialFeatures', 'StandardScaler', 'Lasso'] and lasso_model[-1].alpha == 1"},{"id":"r2","test":"lasso_r2 is not None and abs(float(lasso_r2) - 0.515) < 0.005"},{"id":"zeros","test":"n_zero is not None and int(n_zero) == int((lasso_model[-1].coef_ == 0).sum()) == 30"},{"id":"kept","test":"kept is not None and len(kept) == 35 and 'bmi' in list(kept) and all(isinstance(k, str) for k in kept)"}],"title":"دع Lasso يختار الـ features","prompt":"الـ pipeline في الكود المبدئي ينسى شيئًا مهمًا. أصلحه، ثم افحص ما فعله Lasso.
\nlasso_model: PolynomialFeatures(include_bias=False) من الدرجة 2، ثم StandardScaler، ثم Lasso(alpha=1)، مدرَّبًا على بيانات التدريب.lasso_r2: قيمة R² على بيانات الاختبار. وn_zero: عدد معاملاته الـ 65 التي تساوي صفرًا بالضبط.kept: قائمة بأسماء الأعمدة المولّدة التي معاملها ليس صفرًا.StandardScaler() بين الخطوتين الموجودتين.","يعطيك lasso_model[-1].coef_ معاملات Lasso؛ و(coef == 0).sum() يعدّ الأصفار.","يسرد lasso_model[0].get_feature_names_out() أسماء الأعمدة المولّدة الـ 65 بترتيب المعاملات نفسه."],"explanation":"مع وجود توحيد المقاييس، يبلغ Lasso عند alpha=1 قيمة R² على الاختبار بنحو 0.515 ويجعل 30 من 65 معاملًا أصفارًا، محتفظًا بـ 35 عمودًا. وبدون الـ scaler، يعني المقياس الضئيل لـ features بيانات السكري أن العقوبة تسحق معظم المعاملات للسبب الخاطئ: وحداتها، لا فائدتها. وربط الأسماء بالمعاملات هو الطريقة التي تُبلغ بها عن المدخلات التي يحتاجها النموذج النهائي فعلًا.