أعاد LinearRegression().fit أفضل خط فورًا، دون أي بحث ظاهر. فللخط المستقيم معادلة دقيقة، وهذا منصف. لكن معظم النماذج (الانحدار اللوجستي، والشبكات العصبية، والـ gradient boosting الذي ستتعرّف عليه في القسم 3) ليس لها معادلة. إنها تجد معاملاتها بالبحث، وتكاد كلها تستخدم شكلًا ما من البحث نفسه: الـ gradient descent (النزول بالتدرّج).
خذ النموذج المعتمد على مؤشر كتلة الجسم وحده من الدرس السابق: prediction = w * x + b. لأي زوج من w وb يمكنك حساب متوسط الخطأ المربّع على بيانات التدريب. تخيّل كل قيمة ممكنة لـ w مرتّبةً من اليسار إلى اليمين، والخسارة المقابلة لكل منها ارتفاعًا. في الخط المستقيم مع الخطأ المربّع، تكون هذه الصورة وعاءً أملس، وأفضل w تقع في قاعه.
لا يمكنك رؤية الوعاء، لكن في أي نقطة يمكنك حساب ميله: التدرّج (gradient). إذا كان الميل موجبًا، فزيادة w تجعل الأمور أسوأ، فأنقصها. وإذا كان سالبًا، فزِدها. خذ خطوة صغيرة عكس الميل، وأعد الحساب، وكرّر. هذا هو الـ gradient descent.
تصغر الخطوات من تلقاء نفسها كلما اقتربت من القاع، لأن الميل يصبح أكثر تسطّحًا. وحجم كل خطوة هو التدرّج مضروبًا في معدّل التعلّم (learning rate)، وهو hyperparameter تختاره أنت.
\nمع الخطأ المربّع، للتدرّجات معادلات قصيرة: الميل بالنسبة إلى w هو 2 * mean(error * x) وبالنسبة إلى b هو 2 * mean(error)، حيث error = prediction - actual. إليك ذلك في NumPy، بعد توحيد مقياس مؤشر كتلة الجسم إلى متوسط 0 وانحراف معياري 1 أولًا (سترى السبب بعد قليل).
import numpy as np\nfrom sklearn.datasets import load_diabetes\nfrom sklearn.linear_model import LinearRegression\nfrom sklearn.model_selection import train_test_split\n\nX, y = load_diabetes(return_X_y=True, as_frame=True)\nX_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.25, random_state=42)\nx = ((X_train[\"bmi\"] - X_train[\"bmi\"].mean()) / X_train[\"bmi\"].std(ddof=0)).to_numpy()\ntarget = y_train.to_numpy()\n\nw, b, learning_rate = 0.0, 0.0, 0.1\nfor step in range(101):\n error = (w * x + b) - target\n if step % 25 == 0:\n print(f\"step {step:3} loss {np.mean(error ** 2):9.1f} w {w:6.2f} b {b:7.2f}\")\n w -= learning_rate * 2 * np.mean(error * x)\n b -= learning_rate * 2 * np.mean(error)\n\nexact = LinearRegression().fit(x.reshape(-1, 1), target)\nprint(\"LinearRegression:\", exact.coef_.round(2), round(exact.intercept_, 2))تنخفض الخسارة من نحو 29,900 إلى 3,931 خلال 25 خطوة ثم تتوقف عن الحركة. وقيمتا w وb اللتان تستقر عندهما تطابقان LinearRegression حتى منزلتين عشريتين. لقد درّبت نموذجًا بيدك.
غيّر learning_rate وأعد التشغيل. مع 0.01، لا تبلغ مئة خطوة إلا w ≈ 40 وb ≈ 134: البحث يزحف. ومع 0.5، يصل في خطوة واحدة. ومع 1.05، تتجاوز كل خطوة القاع بأكثر من سابقتها، وبعد مئة خطوة تصبح الخسارة بالتريليونات. هذا هو التباعد (divergence)، وحين ترى خسارة تكبر بدل أن تصغر، فمعدّل التعلّم الكبير جدًا هو المشتبه الأول.
الجداول الحقيقية تخلط المقاييس. في بيانات الانقطاع، يصل total_spent إلى الآلاف بينما used_coupon إما 0 أو 1. ومع اثنين من الـ features كهذين، لم يعد سطح الخسارة وعاءً مستديرًا بل واديًا طويلًا ضيقًا. ومعدّل التعلّم الصغير بما يكفي للبقاء مستقرًا في الاتجاه الشديد الانحدار يكون بطيئًا على نحو مؤلم في الاتجاه المسطّح، فيتعرّج المسار عبر الوادي.
والمقياس يؤثر أيضًا في نماذج لا تستخدم التدرّجات إطلاقًا. فأقرب k جيران يقيس المسافة بين العملاء، وفرق 300 دولار في الإنفاق يطغى على فرق أربع تذاكر دعم. وتوحيد كل عمود إلى متوسط 0 وانحراف معياري 1 يضعها جميعًا على قدم المساواة.
\nimport pandas as pd\nfrom sklearn.model_selection import train_test_split\nfrom sklearn.neighbors import KNeighborsClassifier\nfrom sklearn.preprocessing import StandardScaler\n\nchurn = pd.read_csv(\"churn.csv\")\nfeatures = [\"tenure_days\", \"orders\", \"total_spent\", \"avg_order_value\",\n \"days_since_last_order\", \"used_coupon\", \"support_tickets\", \"mobile_share\"]\nX_train, X_test, y_train, y_test = train_test_split(\n churn[features], churn[\"churned\"], test_size=0.25, random_state=42,\n stratify=churn[\"churned\"])\n\nscaler = StandardScaler().fit(X_train) # learn means and stds from TRAIN only\nX_train_s, X_test_s = scaler.transform(X_train), scaler.transform(X_test)\nprint(\"learned means:\", scaler.mean_[:3].round(1))\n\nraw = KNeighborsClassifier().fit(X_train, y_train).score(X_test, y_test)\nscaled = KNeighborsClassifier().fit(X_train_s, y_train).score(X_test_s, y_test)\nprint(f\"k-NN raw {raw:.2f} scaled {scaled:.2f}\")توحيد المقاييس وحده يرفع k-NN من 0.72 إلى 0.75، متجاوزًا قاعدة الـ 80 يومًا من القسم 1. النموذج نفسه والبيانات نفسها؛ والتغيير الوحيد أن كل feature صار له صوت عادل.
\nالـ scaler أيضًا estimator. له fit (تعلّم متوسط كل عمود وانحرافه المعياري) وtransform (تطبيقهما)، وتسري عليه القاعدة نفسها التي تسري على النماذج: درّبه على بيانات التدريب وحدها. والتنقّل بين X_train_s وX_test_s يدويًا يصبح عرضة للأخطاء، لذا يجمع القسم 4 الـ scaler والنموذج في كائن pipeline واحد.
سيجد الـ gradient descent أفضل خط، لكن “الأفضل على بيانات التدريب” قد يكون فخًّا حين يكون النموذج مرنًا. في الدرس القادم يصبح الخط منحنيًا، وسترى كيف ينحني أكثر مما يجب.
\n","toc":[{"id":"sec-1","text":"التعلّم نزولًا على المنحدر","level":2},{"id":"sec-2","text":"الـ gradient descent في ثمانية أسطر","level":2},{"id":"sec-3","text":"معدّل التعلّم يحسم كل شيء","level":2},{"id":"sec-4","text":"لماذا نوحّد مقاييس الـ features","level":2}],"takeaways":["تدريب النموذج يعني البحث عن قيم المعاملات التي تجعل دالة الخسارة أصغر ما يمكن.","يكرّر الـ gradient descent خطوة واحدة: احسب ميل دالة الخسارة لكل معامل، ثم حرّك كل معامل قليلًا في اتجاه النزول.","يحدّد معدّل التعلّم (learning rate) حجم الخطوة: الصغير جدًا يزحف، والكبير جدًا يتجاوز الهدف ويتباعد.","الـ features ذات المقاييس المتباعدة جدًا تمطّ سطح دالة الخسارة، فتبطّئ الـ gradient descent وتشوّه النماذج المعتمدة على المسافة مثل k-NN.","يتعلّمStandardScaler متوسط كل عمود وانحرافه المعياري من بيانات التدريب، ثم يعيد المعايرة إلى متوسط 0 وانحراف معياري 1."],"further":[{"title":"StandardScaler","url":"https://scikit-learn.org/stable/modules/generated/sklearn.preprocessing.StandardScaler.html"},{"title":"Stochastic Gradient Descent","url":"https://scikit-learn.org/stable/modules/sgd.html"},{"title":"Importance of feature scaling","url":"https://scikit-learn.org/stable/auto_examples/preprocessing/plot_scaling_importance.html"}],"quiz":[{"q":"أثناء الـ gradient descent، كان تدرّج دالة الخسارة بالنسبة إلى w موجبًا. ماذا يفعل التحديث بـ w؟
w، لأن التدرّج الموجب يعني أن w يجب أن تكبر.","why":"التدرّج الموجب يعني أن الخسارة ترتفع حين تكبر w. والتحرّك معه صعود إلى أعلى."},{"text":"ينقص w، لأن التحديث يطرح حاصل ضرب معدّل التعلّم في التدرّج.","why":"صحيح. التحرّك عكس التدرّج هو ما يجعل الخسارة تنخفض."},{"text":"يُبقي w كما هي حتى يصبح التدرّج صفرًا.","why":"التدرّج غير الصفري هو بالضبط إشارة التحرّك. ولا يكون صفرًا إلا عند القاع."}],"answer":1},{"q":"ضاعفت معدّل التعلّم فصارت الخسارة المطبوعة 3,900 ← 12,000 ← 95,000 ← 2,000,000. ماذا حدث؟
","options":[{"text":"وجد النموذج قاعًا أفضل في مكان أبعد.","why":"القاع الأفضل سيُظهر خسارة أقل، لا خسارة تنفجر."},{"text":"في البيانات قيم شاذة كشفها المعدّل الأكبر.","why":"القيم الشاذة لا تجعل الخسارة تكبر بلا حدود خطوة بعد خطوة. أما تجاوز القاع فيفعل."},{"text":"كل خطوة تتجاوز القاع بأكثر من سابقتها، فيتباعد البحث.","why":"صحيح. اخفض معدّل التعلّم (أو وحّد مقاييس الـ features) حتى تنخفض الخسارة باطّراد."}],"answer":2},{"q":"أين يجب أن تدرّب الـ StandardScaler؟
أيّ نموذج تتغيّر تنبؤاته حين تعيد التعبير عن total_spent بالسنتات بدل الدولارات؟
total_spent.","why":"صحيح. النماذج المعتمدة على المسافة تعامل مدى أكبر بمئة مرة على أنه أهم بمئة مرة."},{"text":"الانحدار الخطي العادي، لأن معامله يتغيّر.","why":"يصغر المعامل مئة مرة ليعوّض، وتبقى التنبؤات متطابقة. المقياس مهم للنماذج ذات الـ regularization، لا للمربعات الصغرى العادية."}],"answer":1}],"exercise":{"kind":"python","starter":"import numpy as np\nfrom sklearn.datasets import load_diabetes\nfrom sklearn.model_selection import train_test_split\n\nX, y = load_diabetes(return_X_y=True, as_frame=True)\nX_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.25, random_state=42)\nbmi = X_train[\"bmi\"]\nx = ((bmi - bmi.mean()) / bmi.std(ddof=0)).to_numpy() # standardised feature\ntarget = y_train.to_numpy()\n\nw, b = 0.0, 0.0\nlearning_rate = 0.05\nlosses = []\n\nfor step in range(200):\n error = (w * x + b) - target\n losses.append(np.mean(error ** 2))\n # Update w and b here: step against the gradient of the mean squared error\n pass\n","solution":"import numpy as np\nfrom sklearn.datasets import load_diabetes\nfrom sklearn.model_selection import train_test_split\n\nX, y = load_diabetes(return_X_y=True, as_frame=True)\nX_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.25, random_state=42)\nbmi = X_train[\"bmi\"]\nx = ((bmi - bmi.mean()) / bmi.std(ddof=0)).to_numpy() # standardised feature\ntarget = y_train.to_numpy()\n\nw, b = 0.0, 0.0\nlearning_rate = 0.05\nlosses = []\n\nfor step in range(200):\n error = (w * x + b) - target\n losses.append(np.mean(error ** 2))\n w -= learning_rate * 2 * np.mean(error * x)\n b -= learning_rate * 2 * np.mean(error)\n\nprint(round(w, 2), round(b, 2), round(losses[-1], 1))\n","checks":[{"id":"losses","test":"len(losses) == 200 and all(float(losses[i + 1]) <= float(losses[i]) + 1e-9 for i in range(199))"},{"id":"loss-drops","test":"float(losses[-1]) < 0.2 * float(losses[0])"},{"id":"w","test":"abs(float(w) - 45.97) < 0.5"},{"id":"b","test":"abs(float(b) - 154.34) < 0.5"}],"title":"درّب خطًّا بالـ gradient descent","prompt":"أكمل حلقة الـ gradient descent كي تطابق prediction = w * x + b مع هدف بيانات السكري، حيث x هو مؤشر كتلة الجسم بعد توحيد مقياسه.
داخل الحلقة، حدّث w وb بطرح حاصل ضرب learning_rate في تدرّج كلٍّ منهما. مع متوسط الخطأ المربّع، التدرّج هو 2 * mean(error * x) لـ w و2 * mean(error) لـ b. أبقِ القائمة losses: فالفحوص تعتمد عليها.
error نفسها قبل تغيير أيٍّ من المعاملين.","w -= learning_rate * 2 * np.mean(error * x)","افعل الشيء نفسه مع b باستخدام np.mean(error). يجب أن تستقر القيم النهائية قرب w ≈ 46 وb ≈ 154."],"explanation":"في كل دورة تحسب خطأ الخط الحالي، وتحوّله إلى ميل لكل معامل، ثم تخطو عكس ذلك الميل. مع معدّل تعلّم 0.05 تنخفض الخسارة في كل خطوة وتستقر المعاملات حيث يضعها LinearRegression (w ≈ 45.97 وb ≈ 154.34). وإذا عكست الإشارة (+=)، تكبر الخسارة مع كل خطوة: أنت تصعد المنحدر.