الخط المستقيم افتراض قوي. فإذا كان تقدّم المرض يرتفع أسرع عند مؤشر كتلة جسم مرتفع منه عند مؤشر منخفض، فلا خط مستقيم يستطيع التقاط ذلك، مهما طال تشغيل الـ gradient descent. والحل يبدو بريئًا: دع النموذج ينحني. يبيّن هذا الدرس كيف، وكيف يتحوّل الانحناء سريعًا إلى حفظ.
\nالحيلة أن تُبقي الانحدار الخطي وتغيّر المدخلات. فإذا أضفت عمودًا bmi²، فإن نموذجًا “خطيًا” في bmi وbmi² يرسم قطعًا مكافئًا في bmi. ويولّد PolynomialFeatures هذه الأعمدة: كل قوة حتى الدرجة المختارة، إضافة إلى كل حاصل ضرب بين الـ features (أي التفاعلات (interactions)).
from sklearn.datasets import load_diabetes\nfrom sklearn.preprocessing import PolynomialFeatures\n\nX, y = load_diabetes(return_X_y=True, as_frame=True)\npoly = PolynomialFeatures(degree=2, include_bias=False).fit(X[[\"bmi\", \"bp\"]])\nprint(poly.get_feature_names_out())\n\nfor degree in [1, 2, 3]:\n n = PolynomialFeatures(degree=degree, include_bias=False).fit(X).n_output_features_\n print(f\"degree {degree}: {n} columns from 10 features\")يتحوّل الـ features الاثنان إلى خمسة أعمدة عند الدرجة 2. وتتحوّل الـ features العشرة إلى 65 عمودًا عند الدرجة 2 و285 عند الدرجة 3. يحذف include_bias=False العمود الثابت، لأن LinearRegression يحسب الـ intercept بنفسه.
لتسلسل التوسيع والانحدار، استخدم make_pipeline. فهي تنشئ estimator واحدًا ينفّذ كل خطوة بالترتيب؛ يدرّب fit كل خطوة على بيانات التدريب، ويمرّر predict البيانات الجديدة عبر الخطوات نفسها. ستبني pipelines أغنى في القسم 4.
from sklearn.datasets import load_diabetes\nfrom sklearn.linear_model import LinearRegression\nfrom sklearn.metrics import mean_absolute_error\nfrom sklearn.model_selection import train_test_split\nfrom sklearn.pipeline import make_pipeline\nfrom sklearn.preprocessing import PolynomialFeatures\n\nX, y = load_diabetes(return_X_y=True, as_frame=True)\nX_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.25, random_state=42)\n\nfor degree in [1, 2, 3]:\n model = make_pipeline(PolynomialFeatures(degree=degree, include_bias=False),\n LinearRegression()).fit(X_train, y_train)\n print(f\"degree {degree}: train R2 {model.score(X_train, y_train):6.3f} \"\n f\"test R2 {model.score(X_test, y_test):7.3f} \"\n f\"test MAE {mean_absolute_error(y_test, model.predict(X_test)):6.1f}\")اقرأ الصفوف الثلاثة على مهل. الدرجة 2 تحسّن نتيجة التدريب وتسوّئ نتيجة الاختبار. والدرجة 3 كارثة متنكّرة في ثوب نجاح: R² بقيمة 0.90 في التدريب، وR² بقيمة -8.5 في الاختبار، وخطأ اختبار معتاد مقداره 151 نقطة، وهذا أسوأ من التنبؤ بالمتوسط للجميع. مع 285 عمودًا و331 مريض تدريب فقط، يكاد يملك النموذج من المقابض ما يكفي ليمرّ عبر كل نقطة تدريب. لقد تعلّم الضجيج.
\nهذه الصفوف الثلاثة تقابل صورة ستراها في كل دورة لتعلّم الآلة، لأنها المفاضلة المركزية في هذا المجال.
\nتشخّص الجهة التي أنت فيها بمقارنة النتيجتين، لا بالنظر إلى نتيجة التدريب وحدها أبدًا. الفجوة الصغيرة مع نتائج ضعيفة تقول “أضف قدرة”؛ والفجوة الكبيرة تقول “انزعها”.
\nكمية البيانات تغيّر هذا التوازن. فمع 331 مريضًا، 285 عمودًا تهوّر؛ أما مع 300,000 مريض، فسيكون لنموذج الدرجة 3 نفسه مجال أضيق بكثير للحفظ، لأن ضجيج الصفوف الفردية يتلاشى بالتوسيط عبر هذا العدد الكبير من الأمثلة. لهذا تُعدّ “اجمع بيانات أكثر” علاجًا مشروعًا للـ overfitting وعديم الفائدة للـ underfitting: فالنموذج العاجز عن التعبير عن النمط لن يتحسّن فيه برؤية المزيد منه. وحين لا تكون متأكدًا من الجهة التي أنت فيها، يحسم الأمرَ منحنى التعلّم (learning curve)، أي نتيجتا التدريب والتحقق مرسومتين مقابل عدد صفوف التدريب: منحنيان يلتقيان عند مستوى منخفض يحتاجان إلى نموذج أغنى، ومنحنيان يبقيان متباعدين يحتاجان إلى بيانات أكثر أو نموذج أبسط.
\n\nإليك هذه الوصفة مع ثلاثة features. جزء التحقق يأتي من X_train؛ ولا تُمسّ بيانات الاختبار حتى السطر الأخير تمامًا.
from sklearn.datasets import load_diabetes\nfrom sklearn.linear_model import LinearRegression\nfrom sklearn.model_selection import train_test_split\nfrom sklearn.pipeline import make_pipeline\nfrom sklearn.preprocessing import PolynomialFeatures\n\nX, y = load_diabetes(return_X_y=True, as_frame=True)\nX = X[[\"bmi\", \"bp\", \"s5\"]]\nX_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.25, random_state=42)\nX_fit, X_val, y_fit, y_val = train_test_split(X_train, y_train, test_size=0.25, random_state=0)\n\ndef poly_model(degree):\n return make_pipeline(PolynomialFeatures(degree=degree, include_bias=False), LinearRegression())\n\nval_scores = {d: poly_model(d).fit(X_fit, y_fit).score(X_val, y_val) for d in range(1, 7)}\nfor d, s in val_scores.items():\n print(f\"degree {d}: validation R2 {s:6.3f}\")\nbest = max(val_scores, key=val_scores.get)\nfinal = poly_model(best).fit(X_train, y_train)\nprint(\"chosen degree\", best, \"| test R2\", round(final.score(X_test, y_test), 3))يختار التحقق الدرجة 1، أي الخط المستقيم. على هذه البيانات لا يستحق المنحنى التباينَ الإضافي الذي يجلبه. وهذه نتيجة شائعة ومفيدة: فالإجراء الأمين كثيرًا ما يفضّل النموذج البسيط الذي كانت نظرة خاطفة إلى بيانات الاختبار ستُقنعك بالعدول عنه.
\nجزء تحقق واحد من نحو 80 مريضًا مليء بالضجيج هو أيضًا؛ فقد تفضّل قيمة مختلفة لـ random_state الدرجة 2. سيستبدله القسم 4 بالتحقق المتقاطع، الذي يأخذ المتوسط عبر عدة تقسيمات. والمبدأ يبقى كما هو.
خفض الدرجة طريقة فظّة للتحكم في التعقيد: إما أن يكون لديك عمود bmi × bp وإما لا. الدرس القادم يحتفظ بكل الأعمدة، ويعاقب النموذج بدلًا من ذلك على الاعتماد عليها بشدة، وهذا مقبض أدقّ.
PolynomialFeatures أعمدة للمربعات وللتفاعلات، فيستطيع النموذج الخطي ملاءمة المنحنيات؛ ويتزايد عدد الأعمدة بسرعة كبيرة مع الدرجة.","الـ underfitting (ضعف التوافق) يعني أن النموذج أبسط من أن يلتقط النمط؛ فتكون نتيجتا التدريب والاختبار ضعيفتين معًا.","الـ overfitting (الإفراط في التوافق) يعني أن النموذج تعلّم الضجيج في صفوف التدريب؛ فتكون نتيجة التدريب مرتفعة ونتيجة الاختبار أقل بكثير.","اختر التعقيد (الدرجة، أو العمق، أو عدد الـ features) على جزء تحقق مقتطع من بيانات التدريب، ولا تختره أبدًا على بيانات الاختبار.","العلاجات المعتادة للـ overfitting هي نموذج أبسط، أو بيانات أكثر، أو features أقل، أو الـ regularization."],"further":[{"title":"PolynomialFeatures","url":"https://scikit-learn.org/stable/modules/generated/sklearn.preprocessing.PolynomialFeatures.html"},{"title":"Underfitting vs. Overfitting","url":"https://scikit-learn.org/stable/auto_examples/model_selection/plot_underfitting_overfitting.html"},{"title":"Validation curves","url":"https://scikit-learn.org/stable/modules/learning_curve.html"}],"quiz":[{"q":"يحقق نموذج قيمة R² تبلغ 0.52 على بيانات التدريب و0.49 على بيانات الاختبار. ونسخة أعقد منه تحقق 0.90 و-8.5. أيّ تشخيص يناسب؟
","options":[{"text":"النموذج البسيط يعاني من الـ underfitting، والمعقّد أفضل لأنه تعلّم أكثر.","why":"نتيجة اختبار النموذج المعقّد أدنى من الصفر بكثير، فكل ما تعلّمه لا ينتقل إلى بيانات جديدة. والفجوة الصغيرة بين التدريب والاختبار علامة صحية، لا علامة underfitting."},{"text":"النموذج المعقّد يعاني من الـ overfitting؛ فقد حفظ صفوف التدريب ويفشل مع الصفوف الجديدة.","why":"صحيح. القفزة الهائلة في نتيجة التدريب مع انهيار نتيجة الاختبار هي البصمة المميّزة للـ overfitting."},{"text":"كلا النموذجين يعاني من الـ underfitting لأن أيًّا منهما لا يبلغ 0.9 على بيانات الاختبار.","why":"كثير من المسائل الحقيقية يبلغ سقفها ما هو أدنى من 0.9 بكثير. ويُحكم على الـ underfitting بأن تكون نتيجة التدريب ضعيفة أيضًا، وهذا لا ينطبق على النموذج المعقّد."}],"answer":1},{"q":"ما الأعمدة التي ينتجها PolynomialFeatures(degree=2, include_bias=False) من عمودين a وb؟
a وb وa^2 وa b وb^2","why":"صحيح. الدرجة 2 تضيف كل مربّع وكل حاصل ضرب بين زوج من الأعمدة، أي حدّ التفاعل."},{"text":"a^2 وb^2","why":"تُحفظ الأعمدة الأصلية، ويُضاف حدّ التفاعل a b أيضًا."},{"text":"1 وa وb وa^2 وb^2","why":"include_bias=False يحذف العمود الثابت، وحدّ التفاعل a b غائب عن هذه القائمة."}],"answer":0},{"q":"كيف يجب أن تختار درجة كثير الحدود؟
","options":[{"text":"اختر الدرجة صاحبة أعلى نتيجة تدريب.","why":"نتيجة التدريب تواصل الارتفاع مع الدرجة، فهذه الطريقة تختار دائمًا النموذج الأكثر overfitting."},{"text":"اختر الدرجة صاحبة أعلى نتيجة اختبار، ثم انشر تلك النتيجة.","why":"هذا يستخدم بيانات الاختبار لاتخاذ قرار، فتكون النتيجة المنشورة متفائلة."},{"text":"اقتطع جزء تحقق من بيانات التدريب، واختر الدرجة التي تحقق أفضل نتيجة عليه، ثم قِس مرة واحدة على بيانات الاختبار.","why":"صحيح. جزء التحقق يمتص عملية الاختيار؛ وتبقى بيانات الاختبار فحصًا نهائيًا غير منحاز."}],"answer":2},{"q":"أيّ تغيير هو الأقل احتمالًا أن يقلّل الـ overfitting؟
","options":[{"text":"جمع صفوف تدريب أكثر.","why":"البيانات الأكثر تجعل حفظ الضجيج أصعب، فهي تساعد عادةً."},{"text":"إضافة درجات أعلى لكثير الحدود كي يلائم النموذج البيانات بدقة أكبر.","why":"صحيح. المرونة الإضافية هي سبب الـ overfitting أصلًا."},{"text":"خفض الدرجة أو حذف الـ features الضعيفة.","why":"النموذج الأبسط قدرته على الحفظ أقل، فهذا علاج مباشر."},{"text":"إضافة عقوبة على المعاملات الكبيرة.","why":"هذا هو الـ regularization، موضوع الدرس القادم، وهو علاج معياري."}],"answer":1}],"exercise":{"kind":"python","starter":"from sklearn.datasets import load_diabetes\nfrom sklearn.linear_model import LinearRegression\nfrom sklearn.model_selection import train_test_split\nfrom sklearn.pipeline import make_pipeline\nfrom sklearn.preprocessing import PolynomialFeatures\n\nX, y = load_diabetes(return_X_y=True, as_frame=True)\nX = X[[\"bmi\", \"bp\", \"s5\", \"s3\"]]\nX_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.25, random_state=42)\nX_fit, X_val, y_fit, y_val = train_test_split(X_train, y_train, test_size=0.25, random_state=0)\n\n# 1. val_scores: {degree: validation R2} for degrees 1 to 6.\n# Fit each model on X_fit / y_fit, score it on X_val / y_val.\nval_scores = {}\n\n# 2. The degree with the best validation score\nbest_degree = None\n\n# 3. Refit that degree on ALL the training data, then score once on the test set\ntest_r2 = None\n","solution":"from sklearn.datasets import load_diabetes\nfrom sklearn.linear_model import LinearRegression\nfrom sklearn.model_selection import train_test_split\nfrom sklearn.pipeline import make_pipeline\nfrom sklearn.preprocessing import PolynomialFeatures\n\nX, y = load_diabetes(return_X_y=True, as_frame=True)\nX = X[[\"bmi\", \"bp\", \"s5\", \"s3\"]]\nX_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.25, random_state=42)\nX_fit, X_val, y_fit, y_val = train_test_split(X_train, y_train, test_size=0.25, random_state=0)\n\ndef poly_model(degree):\n return make_pipeline(PolynomialFeatures(degree=degree, include_bias=False), LinearRegression())\n\nval_scores = {d: poly_model(d).fit(X_fit, y_fit).score(X_val, y_val) for d in range(1, 7)}\nbest_degree = max(val_scores, key=val_scores.get)\ntest_r2 = poly_model(best_degree).fit(X_train, y_train).score(X_test, y_test)\nprint(val_scores, best_degree, test_r2)\n","checks":[{"id":"degrees","test":"sorted(val_scores) == [1, 2, 3, 4, 5, 6]"},{"id":"validation","test":"abs(float(val_scores[2]) - __import__('sklearn.pipeline', fromlist=['make_pipeline']).make_pipeline(__import__('sklearn.preprocessing', fromlist=['PolynomialFeatures']).PolynomialFeatures(degree=2, include_bias=False), __import__('sklearn.linear_model', fromlist=['LinearRegression']).LinearRegression()).fit(X_fit, y_fit).score(X_val, y_val)) < 1e-6"},{"id":"best","test":"best_degree == max(val_scores, key=val_scores.get)"},{"id":"test-score","test":"test_r2 is not None and abs(float(test_r2) - __import__('sklearn.pipeline', fromlist=['make_pipeline']).make_pipeline(__import__('sklearn.preprocessing', fromlist=['PolynomialFeatures']).PolynomialFeatures(degree=best_degree, include_bias=False), __import__('sklearn.linear_model', fromlist=['LinearRegression']).LinearRegression()).fit(X_train, y_train).score(X_test, y_test)) < 1e-6"}],"title":"اختر درجة كثير الحدود دون لمس بيانات الاختبار","prompt":"باستخدام أربعة features من بيانات السكري، اختر درجة كثير الحدود بأمانة.
\nval_scores: قاموس (dict) يربط كل درجة من 1 إلى 6 بقيمة R² الخاصة بها على جزء التحقق. كل نموذج هو PolynomialFeatures(degree=d, include_bias=False) متبوعًا بـ LinearRegression، مدرَّب على X_fit, y_fit ومقيس على X_val, y_val.best_degree: الدرجة صاحبة أعلى R² على جزء التحقق.test_r2: أعد تدريب تلك الدرجة على X_train, y_train كاملة وقِسها مرة واحدة على X_test, y_test.poly_model(degree) تُعيد make_pipeline(PolynomialFeatures(...), LinearRegression()) تُبقي الحلقة قصيرة.","يعمل الـ dict comprehension هنا: {d: poly_model(d).fit(X_fit, y_fit).score(X_val, y_val) for d in range(1, 7)}.","تُعيد max(val_scores, key=val_scores.get) المفتاح صاحب أكبر قيمة."],"explanation":"تتراجع نتائج التحقق كلما كبرت الدرجة، وبعض الدرجات العليا تصبح سالبة، فيستقر الإجراء على درجة منخفضة. وإعادة التدريب على X_train كاملة تستخدم كل صفوف التدريب في النموذج النهائي، ونتيجة الاختبار الوحيدة تقدير غير منحاز لأن بيانات الاختبار لم يكن لها أي دور في الاختيار.