{"id":"l-ml-3-1","courseId":"ml-crash-course","lang":"ar","kind":"lesson","summary":"درّب نموذج انحدار لوجستي على بيانات الانقطاع، واقرأ احتمالاته ومعاملاته، واستخدم الاحتمالات لترتيب العملاء كي يتواصل فريق التسويق مع الأكثر خطرًا أولًا.","html":"

أجابت الشجرة بعمق 3 من القسم 1 بـ “سينقطع” أو “سيبقى”. وفريق التسويق لا يريد ذلك حقًا. لديه ميزانية لبضع عشرات من مكالمات الاسترجاع أسبوعيًا، ويريد أن يعرف بمن يتصل أولًا. هذا يتطلّب درجة ترتّب العملاء بحسب الخطر، والنموذج الكلاسيكي لذلك هو الانحدار اللوجستي (logistic regression).

\n

من خط إلى احتمال

\n

يبدأ الانحدار اللوجستي كالانحدار الخطي: اضرب كل feature في معامل، واجمع النتائج، وأضف intercept. هذا يعطيك درجة z قد تكون أي رقم. ثم يضغط الدرجة عبر دالة الـ sigmoid، أي 1 / (1 + e^-z)، التي تحوّل أي رقم إلى قيمة بين 0 و1. الدرجات الموجبة الكبيرة تعطي احتمالات قرب 1، والسالبة الكبيرة قرب 0، والدرجة 0 بالضبط تعطي 0.5.

\n
\n منحنى على شكل حرف S. المحور الأفقي هو الدرجة الخطية z من سالب 6 إلى موجب 6؛ والمحور العمودي هو الاحتمال من 0 إلى 1. يمرّ المنحنى بـ 0.5 عند z تساوي 0 ويتسطّح نحو 0 و1 عند الطرفين.\n \n \n \n \n 1.0\n 0.5\n 0.0\n z = −6\n 0\n +6\n \n \n غالبًا سيبقى\n غالبًا سينقطع\n
الـ sigmoid تحوّل الدرجة إلى احتمال
\n

أثناء التدريب، يعدّل النموذج المعاملات بحيث ينال المنقطعون احتمالات عالية وغير المنقطعين احتمالات منخفضة. ودالة الخسارة التي يصغّرها هي الـ log loss، التي تعاقب الإجابات الخاطئة الواثقة بشدة: التنبؤ بـ 0.99 لعميل بقي يكلّف أكثر بكثير من التنبؤ بـ 0.6. لا توجد معادلة دقيقة للقاع، فيجده scikit-learn بمُحسِّن تكراري، وهو قريب مهذَّب للـ gradient descent الذي كتبته في القسم السابق.

\n

تدريبه على بيانات الانقطاع

\n

لأن المُحسِّن تكراري وللنموذج عقوبة (المزيد عن ذلك أدناه)، وحّد مقاييس الـ features أولًا. والـ pipeline يُبقي الـ scaler والنموذج معًا.

\n
Python
import pandas as pd\nfrom sklearn.linear_model import LogisticRegression\nfrom sklearn.model_selection import train_test_split\nfrom sklearn.pipeline import make_pipeline\nfrom sklearn.preprocessing import StandardScaler\n\nchurn = pd.read_csv(\"churn.csv\")\nfeatures = [\"tenure_days\", \"orders\", \"total_spent\", \"avg_order_value\",\n            \"days_since_last_order\", \"used_coupon\", \"support_tickets\", \"mobile_share\"]\nX_train, X_test, y_train, y_test = train_test_split(\n    churn[features], churn[\"churned\"], test_size=0.25, random_state=42,\n    stratify=churn[\"churned\"])\n\nmodel = make_pipeline(StandardScaler(), LogisticRegression()).fit(X_train, y_train)\nprint(\"test accuracy:\", model.score(X_test, y_test))\nprint(model.predict_proba(X_test)[:4].round(2))\nprint(model.predict(X_test)[:4])
\n

تُعيد predict_proba عمودين، واحدًا لكل فئة بترتيب classes_: احتمال البقاء، واحتمال الانقطاع. ومجموعهما 1. أما predict فاختصار يصنّف الصف بـ 1 حين يكون احتمال الانقطاع 0.5 على الأقل. وهذه الـ 0.5 قيمة افتراضية، لا قانون، وآخر درس في القسم 3 يدور حول اختيارها عن قصد.

\n

الـ accuracy تبلغ 0.72، أي بمستوى قاعدة الـ 80 يومًا. لا تتوقف عن القراءة هنا: فالاحتمالات تحمل معلومات ترميها الـ accuracy.

\n

قراءة المعاملات

\n

مع features موحّدة المقاييس، يقول كل معامل كم يحرّك انحرافٌ معياري واحد من ذلك الـ feature الدرجةَ z (أي الـ log-odds للانقطاع). وهذا يجعلها قابلة للمقارنة بين الـ features.

\n
Python
import pandas as pd\nfrom sklearn.linear_model import LogisticRegression\nfrom sklearn.model_selection import train_test_split\nfrom sklearn.pipeline import make_pipeline\nfrom sklearn.preprocessing import StandardScaler\n\nchurn = pd.read_csv(\"churn.csv\")\nfeatures = [\"tenure_days\", \"orders\", \"total_spent\", \"avg_order_value\",\n            \"days_since_last_order\", \"used_coupon\", \"support_tickets\", \"mobile_share\"]\nX_train, X_test, y_train, y_test = train_test_split(\n    churn[features], churn[\"churned\"], test_size=0.25, random_state=42,\n    stratify=churn[\"churned\"])\nmodel = make_pipeline(StandardScaler(), LogisticRegression()).fit(X_train, y_train)\n\ncoefs = pd.Series(model[-1].coef_[0], index=features).sort_values()\nprint(coefs.round(2))\n\nranked = X_test.assign(churn_prob=model.predict_proba(X_test)[:, 1], churned=y_test)\ntop10 = ranked.sort_values(\"churn_prob\", ascending=False).head(10)\nprint(top10[[\"days_since_last_order\", \"orders\", \"churn_prob\", \"churned\"]].round(2))\nprint(\"share of the top 10 who really churned:\", top10[\"churned\"].mean())
\n

حداثة آخر طلب (days_since_last_order، +0.93) هي المهيمنة، وهذا يطابق ما أخبرتك به قاعدة خط الأساس. ومدة العضوية الأطول تدفع أيضًا نحو الانقطاع، بينما تدفع الطلبات الأكثر والإنفاق الأكبر واستخدام القسائم، بل وتذاكر الدعم الأكثر، بعيدًا عنه. فالعملاء الذين يتواصلون مع الدعم عملاء متفاعلون؛ والصامتون هم من يرحلون. هذا هو نوع الاستنتاجات الذي يستحق أن تعود به إلى أصحاب القرار في الشركة، مع التنبيه إلى أنه ارتباط وليس سببية.

\n

ثم تأتي الثمرة: من بين العشرة الذين يصنّفهم النموذج الأكثر خطرًا، انقطع تسعة فعلًا. قاعدة نعم/لا لا تستطيع إنتاج هذه القائمة؛ أما الاحتمال فيستطيع.

\n\n

العقوبة التي لم تطلبها

\n

LogisticRegression منظَّم افتراضيًا بعقوبة L2، وهي الفكرة نفسها في Ridge. تُحدَّد قوّتها بـ C، وهو مقلوب alpha في Ridge: قيمة C الصغيرة تعني عقوبة قوية، والكبيرة تعني عقوبة ضعيفة. والقيمة الافتراضية C=1.0 بداية معقولة. على هذه البيانات، تقع القيم من 0.01 إلى 100 كلها في حدود نقطتين من بعضها، وهذه علامة على أن ثمانية features حسنة السلوك لا تمنح النموذج مجالًا كبيرًا للـ overfitting. أما مع مئات الـ features، فتصبح C مهمة جدًا، وستضبطها بالأدوات التي في القسم 4.

\n\n

يرسم الانحدار اللوجستي حدًّا مستقيمًا واحدًا عبر فضاء الـ features. أما نموذج الدرس القادم فلا يفترض شيئًا كهذا: إنه يطرح سلسلة من أسئلة نعم/لا ويستطيع تقطيع الفضاء إلى صناديق.

\n","toc":[{"id":"sec-1","text":"من خط إلى احتمال","level":2},{"id":"sec-2","text":"تدريبه على بيانات الانقطاع","level":2},{"id":"sec-3","text":"قراءة المعاملات","level":2},{"id":"sec-4","text":"العقوبة التي لم تطلبها","level":2}],"takeaways":["يحسب الانحدار اللوجستي درجة خطية ثم يضغطها عبر دالة الـ sigmoid لتصبح احتمالًا بين 0 و1.","تُعيد predict_proba احتمالًا لكل فئة؛ وتطبّق predict عليه حدًّا فاصلًا عند 0.5.","على features موحّدة المقاييس، كل معامل هو التغيّر في الـ log-odds لكل انحراف معياري، فتصبح إشارته وحجمه قابلين للمقارنة بين الـ features.","LogisticRegression منظَّم افتراضيًا؛ وC هو مقلوب قوة العقوبة، فقيمة C الأصغر تعني عقوبة أقوى.","ترتيب العملاء بحسب الاحتمال أنفع غالبًا من label نعم/لا، لأنه يتيح للشركة أن تختار عدد العملاء الذين ستتعامل معهم."],"further":[{"title":"Logistic regression","url":"https://scikit-learn.org/stable/modules/linear_model.html#logistic-regression"},{"title":"LogisticRegression","url":"https://scikit-learn.org/stable/modules/generated/sklearn.linear_model.LogisticRegression.html"}],"quiz":[{"q":"

الدرجة الخطية لعميل داخل نموذج انحدار لوجستي تساوي 0. ما احتمال الانقطاع الذي يعطيه النموذج؟

","options":[{"text":"0.5، لأن sigmoid الصفر يساوي النصف بالضبط.","why":"صحيح. الدرجة 0 تعني أن الأدلة مع الانقطاع وضده متوازنة."},{"text":"0، لأن الدرجة 0 تعني عدم الانقطاع.","why":"لا يقترب الاحتمال من 0 إلا حين تذهب الدرجة بعيدًا في السالب. والصفر يقع في منتصف المنحنى."},{"text":"يعتمد على الـ intercept، الذي يُضاف بعد الـ sigmoid.","why":"الـ intercept جزء من الدرجة الخطية، ويُضاف قبل الـ sigmoid. وبمجرد أن تكون الدرجة 0، يكون الناتج ثابتًا."},{"text":"1، لأن sigmoid الصفر يساوي 1.","why":"الـ sigmoid هي 1 / (1 + e^-z)؛ ومع z = 0 تصبح 1 / 2."}],"answer":0},{"q":"

على features انقطاع موحّدة المقاييس، معامل days_since_last_order هو +0.93 ومعامل total_spent هو -0.26. ماذا يمكنك أن تقول؟

","options":[{"text":"كل يوم إضافي منذ آخر طلب يؤثر بنحو 3.6 مرة أكثر من كل دولار إضافي من الإنفاق.","why":"المعاملات لكل انحراف معياري، لا لكل دولار أو لكل يوم، فالمقارنة لكل وحدة لا تصح."},{"text":"العملاء الذين أنفقوا أكثر ينقطعون أكثر.","why":"المعامل السالب يعني أن الإنفاق الأكبر مرتبط باحتمالات انقطاع أقل، مع تثبيت الـ features الأخرى."},{"text":"رفع الإنفاق عبر التسويق سيخفض الانقطاع بمقدار معروف.","why":"تصف المعاملات ارتباطات في هذه البيانات؛ ولا تخبرك بأثر أي تدخّل."},{"text":"زيادة انحراف معياري واحد في مدة الغياب ترفع احتمالات الانقطاع أكثر بكثير مما تخفضها الزيادة نفسها في الإنفاق.","why":"صحيح. على مقياس مشترك، يقارن حجم المعامل بين الآثار في النموذج المدرَّب."}],"answer":3},{"q":"

درّبت LogisticRegression() على features الانقطاع الخام فظهر تحذير ConvergenceWarning. ما أفضل إصلاح أول؟

","options":[{"text":"تجاهله، لأن الـ accuracy تبدو جيدة.","why":"توقّف المُحسِّن (optimiser) قبل أن ينتهي، فالمعاملات ليست تلك التي يعرّفها النموذج. أصلح السبب."},{"text":"اخفض C إلى 0.0001 ليكون لدى النموذج ما يتعلّمه أقل.","why":"قيمة C الضئيلة تُخفي العَرَض بتسطيح النموذج، على حساب نموذج مختلف جدًا يعاني من الـ underfitting."},{"text":"أضف StandardScaler قبل النموذج في pipeline.","why":"صحيح. الـ features ذات المقاييس المتباعدة جدًا تصعّب مهمة المُحسِّن؛ وتوحيد المقاييس يزيل التحذير عادةً."}],"answer":2},{"q":"

يستطيع فريق التسويق الاتصال بـ 30 عميلًا هذا الأسبوع. ماذا يجب أن يعطيهم نموذجك؟

","options":[{"text":"العملاء الثلاثين أصحاب أعلى احتمال انقطاع متنبأ به.","why":"صحيح. الترتيب بحسب الاحتمال يضع الميزانية المحدودة حيث النموذج أكثر ثقة بأن الانقطاع قادم."},{"text":"أيّ 30 عميلًا تصنّفهم predict بـ 1.","why":"قد يُصنَّف العشرات بـ 1. واختيار 30 منهم عشوائيًا يهدر الترتيب الذي حسبه النموذج أصلًا."},{"text":"العملاء الثلاثين الذين احتمالهم أقرب إلى 0.5.","why":"هؤلاء هم الحالات التي يكون النموذج أقل يقينًا بشأنها، لا الأكثر ترجيحًا للانقطاع."}],"answer":0}],"exercise":{"kind":"python","files":["churn.csv"],"starter":"import pandas as pd\nfrom sklearn.linear_model import LogisticRegression\nfrom sklearn.model_selection import train_test_split\nfrom sklearn.pipeline import make_pipeline\nfrom sklearn.preprocessing import StandardScaler\n\nchurn = pd.read_csv(\"churn.csv\")\nfeatures = [\"tenure_days\", \"orders\", \"total_spent\", \"avg_order_value\",\n \"days_since_last_order\", \"used_coupon\", \"support_tickets\", \"mobile_share\"]\nX_train, X_test, y_train, y_test = train_test_split(\n churn[features], churn[\"churned\"], test_size=0.25, random_state=42,\n stratify=churn[\"churned\"])\n\n# 1. A pipeline: StandardScaler, then LogisticRegression; fit it on the training data\nmodel = LogisticRegression().fit(X_train, y_train)\n\n# 2. Churn probability (class 1) for every test customer\nchurn_prob = model.predict(X_test)\n\n# 3. customer_id of the 20 test customers with the highest churn probability\ncall_list = []\n\n# 4. Share of those 20 who really churned\nhit_rate = None\n","solution":"import pandas as pd\nfrom sklearn.linear_model import LogisticRegression\nfrom sklearn.model_selection import train_test_split\nfrom sklearn.pipeline import make_pipeline\nfrom sklearn.preprocessing import StandardScaler\n\nchurn = pd.read_csv(\"churn.csv\")\nfeatures = [\"tenure_days\", \"orders\", \"total_spent\", \"avg_order_value\",\n \"days_since_last_order\", \"used_coupon\", \"support_tickets\", \"mobile_share\"]\nX_train, X_test, y_train, y_test = train_test_split(\n churn[features], churn[\"churned\"], test_size=0.25, random_state=42,\n stratify=churn[\"churned\"])\n\nmodel = make_pipeline(StandardScaler(), LogisticRegression()).fit(X_train, y_train)\n\nchurn_prob = model.predict_proba(X_test)[:, 1]\n\nranked = churn.loc[X_test.index, [\"customer_id\", \"churned\"]].assign(prob=churn_prob)\ntop20 = ranked.sort_values(\"prob\", ascending=False).head(20)\ncall_list = top20[\"customer_id\"].tolist()\n\nhit_rate = top20[\"churned\"].mean()\nprint(call_list[:5], hit_rate)\n","checks":[{"id":"pipeline","test":"[type(s).__name__ for s in model] == ['StandardScaler', 'LogisticRegression']"},{"id":"probs","test":"len(churn_prob) == 100 and abs(float(churn_prob[0]) - float(__import__('sklearn.pipeline', fromlist=['x']).make_pipeline(__import__('sklearn.preprocessing', fromlist=['x']).StandardScaler(), __import__('sklearn.linear_model', fromlist=['x']).LogisticRegression()).fit(X_train, y_train).predict_proba(X_test)[:, 1][0])) < 1e-6 and 0 < float(min(churn_prob)) < float(max(churn_prob)) < 1"},{"id":"call-list","test":"len(call_list) == 20 and set(int(c) for c in call_list) == set(churn.loc[X_test.index, 'customer_id'].to_numpy()[__import__('sklearn.pipeline', fromlist=['x']).make_pipeline(__import__('sklearn.preprocessing', fromlist=['x']).StandardScaler(), __import__('sklearn.linear_model', fromlist=['x']).LogisticRegression()).fit(X_train, y_train).predict_proba(X_test)[:, 1].argsort()[::-1][:20]].tolist())"},{"id":"hit-rate","test":"hit_rate is not None and abs(float(hit_rate) - churn.set_index('customer_id').loc[[int(c) for c in call_list], 'churned'].mean()) < 1e-9 and float(hit_rate) > 0.8"}],"title":"جهّز قائمة اتصالات يوم الاثنين","prompt":"

يستطيع فريق التسويق الاتصال بـ 20 عميلًا. أعطهم العشرين الصحيحين.

\n
    \n
  1. model: pipeline يتكوّن من StandardScaler ثم LogisticRegression، مدرَّبًا على بيانات التدريب.
    2. \n
  2. churn_prob: احتمال الانقطاع (الفئة 1) لكل عميل في بيانات الاختبار.
    3. \n
  3. call_list: قيم customer_id لعملاء الاختبار العشرين أصحاب أعلى احتمال انقطاع.
    4. \n
  4. hit_rate: نسبة من انقطعوا فعلًا من هؤلاء العشرين.
    5. \n
\n","hints":["make_pipeline(StandardScaler(), LogisticRegression())","تعطيك predict الـ labels. أما predict_proba(X_test)[:, 1] فتعطيك عمود احتمالات الانقطاع.","يحتفظ X_test بفهرس الصفوف الأصلي، لذا يتطابق churn.loc[X_test.index, "customer_id"] مع churn_prob. أضف الاحتمالات كعمود، ورتّب تنازليًا، وخذ head(20)."],"explanation":"

الترتيب بحسب الاحتمال يركّز ميزانية الاتصالات: أكثر من 80% بكثير من أخطر 20 عميلًا في بيانات الاختبار انقطعوا فعلًا، مقابل 55% لو اخترت عشوائيًا. أما predict فكانت ستقول “1” لعشرات العملاء دون أي ترتيب بينهم. والاحتفاظ بالفهرس الأصلي من train_test_split هو ما يتيح لك ربط التنبؤات بالمعرّفات من جديد.

\n","checkLabels":{"pipeline":"model هو StandardScaler ← LogisticRegression","probs":"يحتوي churn_prob على احتمالات الفئة 1","call-list":"يحتوي call_list على معرّفات العملاء العشرين الأعلى خطرًا","hit-rate":"hit_rate هي نسبة من انقطعوا من قائمة الاتصال"}},"words":602,"readMinutes":4}