اسأل قائد فريق الدعم كيف يكتشف العملاء الذين أوشكوا على الرحيل، وستسمع شيئًا مثل: “إذا لم يطلبوا شيئًا منذ أشهر، فقد رحلوا. وإذا كانوا حديثين لكنهم لم يشتروا إلا مرة أو مرتين، فالأمر متأرجح. أما الزبائن الدائمون الذين طلبوا مؤخرًا فلا خوف عليهم”. هذه شجرة قرار (decision tree). وفي هذا الدرس تنمّي واحدة من البيانات وتتحقق إن كانت توافقه.
\nتتنبأ شجرة القرار بطرح أسئلة نعم/لا عن feature واحد في كل مرة. ولبنائها، تنظر الخوارزمية في كل feature وكل عتبة ممكنة، وتختار السؤال الذي يقسم عملاء التدريب إلى أنقى مجموعتين: في الحالة المثالية، كل المنقطعين في جهة وكل الباقين في الأخرى. وتُقاس النقاوة افتراضيًا بـ Gini impurity (0 لمجموعة من فئة واحدة فقط، و0.5 لخليط 50/50). ثم تكرّر البحث داخل كل مجموعة، وهكذا نزولًا.
\nimport pandas as pd\nfrom sklearn.model_selection import train_test_split\nfrom sklearn.tree import DecisionTreeClassifier, export_text\n\nchurn = pd.read_csv(\"churn.csv\")\nfeatures = [\"tenure_days\", \"orders\", \"total_spent\", \"avg_order_value\",\n \"days_since_last_order\", \"used_coupon\", \"support_tickets\", \"mobile_share\"]\nX_train, X_test, y_train, y_test = train_test_split(\n churn[features], churn[\"churned\"], test_size=0.25, random_state=42,\n stratify=churn[\"churned\"])\n\ntree = DecisionTreeClassifier(max_depth=2, random_state=42).fit(X_train, y_train)\nprint(export_text(tree, feature_names=features, show_weights=True))تطبع export_text القواعد، ويضيف show_weights=True عدد عملاء التدريب من كل فئة (بقي، انقطع) الذين وصلوا إلى كل ورقة.
ثلاث أوراق تطابق كلام قائد فريق الدعم حرفًا بحرف أو تكاد. العملاء الصامتون منذ زمن طويل ينقطعون (84 من 95). والزبائن الدائمون الحديثون بأربعة طلبات أو أكثر يبقون (60 من 73). والعملاء الحديثون قليلو الطلبات متأرجحون (67 من 127 ينقطعون). واكتشفت الشجرة أيضًا تفاعلًا (interaction) لم يضطر أحد إلى كتابته: عدد الطلبات مهم، لكن بين العملاء الحديثين فقط.
\nأما الورقة الرابعة فتحذير. لقد أنفقت الشجرة سؤالًا كاملًا لعزل ثلاثة عملاء ذوي عضوية طويلة جدًا. هذا هو البحث الجشع (greedy) أثناء عمله: يختار التقسيم الذي يساعد أكثر في اللحظة الحالية، حتى لو جاءت المساعدة من مجموعة أصغر من أن تعني شيئًا.
\nالعميل الذي يقع في ورقة يحصل على حصص الفئات في تلك الورقة كاحتمالات. قع في ورقة “الزبائن الدائمين” وستُعيد predict_proba نحو [0.82, 0.18]. لذا فإن شجرة بعمق 2 لا تستطيع أبدًا أن تُخرج إلا أربعة احتمالات مختلفة، واحدًا لكل ورقة. هذا خشن، لكنه صادق. وتبدأ المشكلة حين لا تكون للشجرة حدود.
تواصل الشجرة غير المقيّدة التقسيم حتى تصبح كل ورقة نقية. على بيانات الانقطاع، هذا يعني 64 ورقة، بعمق 11 مستوى، ودقة تدريب 100%. كل ورقة نقية، فكل احتمال يساوي 0 أو 1 بالضبط: الشجرة تدّعي يقينًا تامًا بشأن كل عميل اختبار بينما لا تصيب إلا في 72% من الحالات. ومع ترتيب العملاء بمثل هذه الاحتمالات، يتعادل معظمهم، وتتحوّل قائمة الاتصالات من الدرس السابق إلى يانصيب.
\nاثنان من الـ hyperparameters يتوليان معظم مهمة إبقاء الشجرة صادقة:
\nmax_depth يحدّد أقصى عدد من الأسئلة المتتالية التي تستطيع الشجرة طرحها.min_samples_leaf يرفض أي تقسيم يترك في ورقة عددًا من عملاء التدريب أقل من هذه القيمة. وهو يستهدف بالضبط مشكلة الورقة الرابعة أعلاه، ويتيح للشجرة أن تتعمّق حيث البيانات وفيرة وأن تبقى ضحلة حيث ليست كذلك.import pandas as pd\nfrom sklearn.model_selection import train_test_split\nfrom sklearn.tree import DecisionTreeClassifier\n\nchurn = pd.read_csv(\"churn.csv\")\nfeatures = [\"tenure_days\", \"orders\", \"total_spent\", \"avg_order_value\",\n \"days_since_last_order\", \"used_coupon\", \"support_tickets\", \"mobile_share\"]\nX_train, X_test, y_train, y_test = train_test_split(\n churn[features], churn[\"churned\"], test_size=0.25, random_state=42,\n stratify=churn[\"churned\"])\n\nfor settings in [{}, {\"max_depth\": 3}, {\"min_samples_leaf\": 20}]:\n t = DecisionTreeClassifier(random_state=42, **settings).fit(X_train, y_train)\n distinct = len(set(t.predict_proba(X_test)[:, 1]))\n print(f\"{str(settings):24} leaves {t.get_n_leaves():3} train {t.score(X_train, y_train):.2f} \"\n f\"test {t.score(X_test, y_test):.2f} distinct probabilities {distinct}\")\n\nt = DecisionTreeClassifier(min_samples_leaf=20, random_state=42).fit(X_train, y_train)\nprint(pd.Series(t.feature_importances_, index=features).sort_values(ascending=False).round(2))يقول feature_importances_ كم خفّض كل feature من عدم النقاوة عبر كل تقسيماته، بعد تطبيع القيم ليكون مجموعها 1. تستحوذ حداثة آخر طلب على أكثر من النصف، ويأتي عدد الطلبات ثانيًا؛ وتحصل القسائم وتذاكر الدعم على صفر لأن الشجرة لم تستخدمها قط. عامِل هذه الأرقام كوصف لهذه الشجرة، لا للعالم: فالـ features التي لم تحتجها الشجرة قد تظل مفيدة، والدرس القادم يبيّن طريقة أجدر بالثقة لقياس الأهمية.
وعدم الاستقرار هذا فرصة أيضًا. فإذا كانت الشجرة الواحدة مليئة بالضجيج، فخذ متوسط أشجار كثيرة نمت على بيانات مختلفة قليلًا، وسيلغي الضجيج بعضه بعضًا. هذه هي الفكرة وراء الغابات العشوائية والـ gradient boosting، موضوع الدرس القادم.
\n","toc":[{"id":"sec-1","text":"عشرون سؤالًا تختارها البيانات","level":2},{"id":"sec-2","text":"كيف تتنبأ الشجرة بالاحتمالات","level":2},{"id":"sec-3","text":"النمو أكثر من اللازم، وكيف توقفه","level":2}],"takeaways":["تقسم شجرة القرار البيانات بسؤال نعم/لا واحد في كل مرة، وتختار في كل خطوة السؤال الذي يجعل المجموعات أنقى ما يمكن.","الشجرة المدرَّبة مجموعة من القواعد المقروءة؛ وexport_text تطبعها.","الأشجار غير المقيّدة تنمو حتى تصبح كل ورقة نقية، فتحفظ بيانات التدريب وتنتج احتمالات مفرطة الثقة بقيمة 0 أو 1.","يحدّ max_depth وmin_samples_leaf من النمو؛ ويمنع min_samples_leaf الشجرة من إنفاق تقسيم على حفنة من العملاء.","لا تحتاج الأشجار إلى توحيد مقاييس الـ features وتلتقط التفاعلات تلقائيًا، لكن الشجرة الواحدة غير مستقرة: تغييرات صغيرة في البيانات قد تعيد تشكيلها."],"further":[{"title":"Decision Trees","url":"https://scikit-learn.org/stable/modules/tree.html"},{"title":"export_text","url":"https://scikit-learn.org/stable/modules/generated/sklearn.tree.export_text.html"}],"quiz":[{"q":"ورقة في شجرة انقطاع تضم 60 عميلًا بقوا و13 انقطعوا. ماذا تُعيد predict_proba لعميل يقع فيها؟
[0.82, 0.18]: أي حصص الفئات في تلك الورقة.","why":"صحيح. احتمال الشجرة هو نسبة عملاء التدريب من كل فئة داخل الورقة."},{"text":"[1.0, 0.0]، لأن فئة الأغلبية في الورقة هي 0.","why":"هذا ما تُبلغ عنه predict كـ label. أما predict_proba فتحتفظ بالنِّسب."},{"text":"[0.5, 0.5]، لأن الأشجار لا تقدّر الاحتمالات.","why":"الأشجار تقدّرها فعلًا، من نِسب الأوراق، وإن كان ذلك بشكل خشن."},{"text":"يعتمد على بُعد العميل عن عتبة التقسيم.","why":"داخل الورقة يحصل كل عميل على الإجابة نفسها؛ والبُعد عن العتبة لا دور له."}],"answer":0},{"q":"تنبؤات شجرة غير محدودة على بيانات الاختبار لا تحتوي إلا احتمالين مختلفين، 0.0 و1.0. لماذا تُعدّ هذه مشكلة؟
","options":[{"text":"لأنها تعني أن في الشجرة خطأً برمجيًا ويجب إعادة تدريبها بـrandom_state آخر.","why":"هذا سلوك متوقَّع، لا خطأ. فكل ورقة في شجرة مكتملة النمو نقية."},{"text":"لأن الاحتمالات التي تساوي 0 أو 1 بالضبط لا يمكن استخدامها لترتيب العملاء.","why":"يمكن ترتيبها، لكن مع قيمتين فقط يكاد يتعادل كل العملاء، فلا يحمل الترتيب أي معلومة."},{"text":"لأن الشجرة تدّعي يقينًا تامًا بشأن كل عميل، وتُثبت دقتها على الاختبار البالغة 0.72 أن ذلك غير صحيح.","why":"صحيح. الأوراق النقية تنتج احتمالات مفرطة الثقة، والترتيب الذي تبنيه منها يكاد يكون بلا فائدة."}],"answer":2},{"q":"أيّ هذه ميزة حقيقية للأشجار على الانحدار اللوجستي في بيانات الانقطاع؟
","options":[{"text":"الأشجار تعمّم دائمًا بشكل أفضل لأنها تستطيع نمذجة المنحنيات.","why":"المرونة سلاح ذو حدّين. على هذه البيانات يؤدي انحدار لوجستي مقيَّد بالمستوى نفسه أو أفضل."},{"text":"الأشجار تعطي احتمالات أنعم وأفضل معايرة.","why":"احتمالات الأشجار نِسب أوراق خشنة، وعادةً أقل نعومة من احتمالات الانحدار اللوجستي."},{"text":"الأشجار مستقرة؛ فإعادة التدريب على بيانات مختلفة قليلًا تعطي شجرة شبه مطابقة.","why":"العكس هو الصحيح. فالتقسيم الأول المختلف يغيّر كل ما تحته."},{"text":"الأشجار تلتقط تفاعلات مثل “قلة الطلبات مهمة فقط للعملاء الحديثين” دون أن تنشئ أنت الـ feature.","why":"صحيح. كل فرع يطرح أسئلته اللاحقة الخاصة، فتأتي التفاعلات مجانًا."}],"answer":3}],"exercise":{"kind":"python","files":["churn.csv"],"starter":"import pandas as pd\nfrom sklearn.model_selection import train_test_split\nfrom sklearn.tree import DecisionTreeClassifier, export_text\n\nchurn = pd.read_csv(\"churn.csv\")\nfeatures = [\"tenure_days\", \"orders\", \"total_spent\", \"avg_order_value\",\n \"days_since_last_order\", \"used_coupon\", \"support_tickets\", \"mobile_share\"]\nX_train, X_test, y_train, y_test = train_test_split(\n churn[features], churn[\"churned\"], test_size=0.25, random_state=42,\n stratify=churn[\"churned\"])\n\ntree = DecisionTreeClassifier(max_depth=2, random_state=42).fit(X_train, y_train)\nprint(export_text(tree, feature_names=features))\n\n# 1. Rewrite the printed tree as plain Python rules. Return 1 for churn, 0 for stay.\ndef rule_predict(row):\n if row[\"days_since_last_order\"] <= 236.5:\n return 1\n return 1\n\nrule_preds = [rule_predict(row) for _, row in X_test.iterrows()]\n\n# 2. A tree limited by min_samples_leaf=20 (random_state=42), fitted on the training data\nleafy = None\n\n# 3. The name of the feature with the highest importance in `leafy`\ntop_feature = None\n","solution":"import pandas as pd\nfrom sklearn.model_selection import train_test_split\nfrom sklearn.tree import DecisionTreeClassifier, export_text\n\nchurn = pd.read_csv(\"churn.csv\")\nfeatures = [\"tenure_days\", \"orders\", \"total_spent\", \"avg_order_value\",\n \"days_since_last_order\", \"used_coupon\", \"support_tickets\", \"mobile_share\"]\nX_train, X_test, y_train, y_test = train_test_split(\n churn[features], churn[\"churned\"], test_size=0.25, random_state=42,\n stratify=churn[\"churned\"])\n\ntree = DecisionTreeClassifier(max_depth=2, random_state=42).fit(X_train, y_train)\nprint(export_text(tree, feature_names=features))\n\ndef rule_predict(row):\n if row[\"days_since_last_order\"] <= 236.5:\n if row[\"orders\"] <= 3.5:\n return 1\n return 0\n if row[\"tenure_days\"] <= 637.5:\n return 1\n return 0\n\nrule_preds = [rule_predict(row) for _, row in X_test.iterrows()]\n\nleafy = DecisionTreeClassifier(min_samples_leaf=20, random_state=42).fit(X_train, y_train)\nimportances = pd.Series(leafy.feature_importances_, index=features)\ntop_feature = importances.idxmax()\nprint(top_feature)\n","checks":[{"id":"rules-test","test":"list(map(int, rule_preds)) == tree.predict(X_test).tolist()"},{"id":"rules-train","test":"[int(rule_predict(r)) for _, r in X_train.iterrows()] == tree.predict(X_train).tolist()"},{"id":"leafy","test":"leafy is not None and hasattr(leafy, 'tree_') and leafy.min_samples_leaf == 20 and leafy.get_n_leaves() == __import__('sklearn.tree', fromlist=['x']).DecisionTreeClassifier(min_samples_leaf=20, random_state=42).fit(X_train, y_train).get_n_leaves()"},{"id":"top-feature","test":"top_feature == 'days_since_last_order'"}],"title":"حوّل الشجرة إلى قواعد","prompt":"الشجرة كومة من عبارات if/else. أثبت ذلك.
\nrule_predict(row) بحيث تُعيد بالضبط ما تتنبأ به الشجرة (1 = انقطاع، 0 = بقاء) لأي صف عميل. تقارنها الفحوص بـ tree.predict على كل صفوف التدريب والاختبار.leafy: نموذج DecisionTreeClassifier(min_samples_leaf=20, random_state=42) مدرَّب على بيانات التدريب.top_feature: اسم الـ feature صاحب أكبر قيمة في feature_importances_ داخل leafy.|--- شرط؛ وأسطر class: هي القيم المُعادة.","تحت days_since_last_order <= 236.5 تسأل الشجرة عن orders؛ وتحت الفرع الآخر تسأل عن tenure_days.","يُعيد pd.Series(leafy.feature_importances_, index=features).idxmax() اسم الـ feature الأهم."],"explanation":"تتحوّل الأوراق الأربع إلى أربع عبارات return. فرع العملاء الحديثين يعتمد على عدد الطلبات، وفرع الصامتين منذ زمن طويل يكاد يكون انقطاعًا دائمًا باستثناء المجموعة الصغيرة من ثلاثة عملاء ذوي عضوية طويلة جدًا. هذا هو التفاعل الذي وجدته الشجرة بنفسها. ومثل هذا الكود يمكن أن يعمل في تعبير CASE في SQL، وهذا أحد أسباب سهولة إطلاق الأشجار الضحلة. ويهيمن days_since_last_order على الأهمية في الشجرة الأكبر أيضًا.