شجرتك بعمق 3 تتنبأ بالانقطاع بدقة 73% على عملاء لم ترَهم. قبل أن تعرض هذا الرقم على أحد، اطرح السؤال الذي يطرحه كل عالم بيانات متمرّس أولًا: مقارنةً بماذا؟ بلا مقارنة، 73% ليست جيدة ولا سيئة. إنها مجرد رقم.
\nخط الأساس الأول يتجاهل الـ features تمامًا. في التصنيف يتنبأ بالفئة الأكثر شيوعًا للجميع. وفي الانحدار يتنبأ بالمتوسط. يوفّر scikit-learn كليهما كـ estimators حقيقية، فيندمجان في الكود نفسه الذي تكتبه لأي نموذج.
\nimport pandas as pd\nfrom sklearn.model_selection import train_test_split\nfrom sklearn.dummy import DummyClassifier\n\nchurn = pd.read_csv(\"churn.csv\")\nfeatures = [\"tenure_days\", \"orders\", \"total_spent\", \"avg_order_value\",\n \"days_since_last_order\", \"used_coupon\", \"support_tickets\", \"mobile_share\"]\nX_train, X_test, y_train, y_test = train_test_split(\n churn[features], churn[\"churned\"], test_size=0.25, random_state=42,\n stratify=churn[\"churned\"])\n\ndummy = DummyClassifier(strategy=\"most_frequent\").fit(X_train, y_train)\nprint(\"dummy predicts:\", dummy.predict(X_test)[:5])\nprint(\"dummy accuracy:\", dummy.score(X_test, y_test))التنبؤ بـ “منقطع” لكل عميل يصيب في 55% من الحالات، لأن 55% من العملاء انقطعوا فعلًا. هذا هو الحدّ الأدنى. ودقة شجرتك البالغة 73% تزيد عليه بـ 18 نقطة، وهذا تقدّم حقيقي، لكنك لم تنتهِ من الأسئلة بعد.
\n\nخط الأساس الثاني هو الذي يؤلم. قبل تعلّم الآلة، كان أحدهم في Cartwheel سيكتب قاعدة: “إذا لم يطلب العميل شيئًا منذ N يومًا، فهو في طريقه إلى الانقطاع”. تختار N بالطريقة التي تدرّب بها نموذجًا: على بيانات التدريب وحدها.
\nimport pandas as pd\nfrom sklearn.model_selection import train_test_split\n\nchurn = pd.read_csv(\"churn.csv\")\nfeatures = [\"tenure_days\", \"orders\", \"total_spent\", \"avg_order_value\",\n \"days_since_last_order\", \"used_coupon\", \"support_tickets\", \"mobile_share\"]\nX_train, X_test, y_train, y_test = train_test_split(\n churn[features], churn[\"churned\"], test_size=0.25, random_state=42,\n stratify=churn[\"churned\"])\n\ndef rule_accuracy(days, X, y):\n predicted = (X[\"days_since_last_order\"] > days).astype(int)\n return (predicted == y).mean()\n\ncandidates = range(30, 301, 10)\nbest_days = max(candidates, key=lambda d: rule_accuracy(d, X_train, y_train))\nprint(\"best cut-off on training data:\", best_days, \"days\")\nprint(\"rule accuracy on test data:\", rule_accuracy(best_days, X_test, y_test))تحقق القاعدة 72% على بيانات الاختبار. وتحقق الشجرة 73%. على 100 عميل اختبار، هذا فرق شخص واحد.
\nهذا ليس فشلًا. بل هو أنفع ما تعلّمته حتى الآن. فهو يخبرك أن معظم الإشارة الدالّة على الانقطاع تكمن في عمود واحد، هو حداثة آخر طلب، وأن شجرة بثمانية features لم تضف عليه حتى الآن شيئًا يُذكر. ويعطيك أيضًا هدفًا: من الآن فصاعدًا، على النموذج أن يتفوّق على 72%، لا على 55%، كي يستحق الإطلاق والشرح والمراقبة.
\n\nالمقابل في الانحدار هو DummyRegressor، الذي يتنبأ بمتوسط التدريب لكل صف. وقيمة score (أي R²) على بيانات الاختبار قريبة من 0، لأن R² معرَّف على أنه التحسّن مقارنةً بالتنبؤ بالمتوسط. ستستخدمه في القسم 2.
from sklearn.datasets import load_diabetes\nfrom sklearn.dummy import DummyRegressor\nfrom sklearn.model_selection import train_test_split\n\nX, y = load_diabetes(return_X_y=True, as_frame=True)\nX_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.25, random_state=42)\ndummy = DummyRegressor(strategy=\"mean\").fit(X_train, y_train)\nprint(\"predicts\", round(dummy.predict(X_test)[0], 1), \"for everyone\")\nprint(\"R² on test:\", round(dummy.score(X_test, y_test), 3))من الآن فصاعدًا، اعرض النموذج بمقدار تحسّنه على خطوط الأساس: “accuracy بنسبة 73%، مقابل 55% للفئة الأكثر شيوعًا و72% لقاعدة الـ 80 يومًا”. هذه الجملة الواحدة تخبر القارئ أكثر مما يخبره أي رقم منفرد، وتحميك من خداع نفسك.
\nأبقِ خطوط الأساس في كودك، بجانب النماذج، وأعد تشغيلها كلما تغيّرت البيانات أو التقسيم. فخط الأساس المحسوب مرة واحدة على تقسيم قديم ثم المقتبس إلى الأبد أسوأ من عدم وجوده، لأنه يبدو كأنه دليل. عمليًا، يجب أن يضع جدول المقارنة في آخر الـ notebook النموذجَ الوهمي في الأعلى، وأفضل قاعدة تحته، ثم كل النماذج بعد ذلك، وكلها محسوبة على صفوف الاختبار نفسها تمامًا.
\nوكن صادقًا بشأن الضجيج أيضًا. مع 100 عميل اختبار، العميل الواحد يساوي نقطة مئوية واحدة، لذا قد تظهر فروق من نقطتين أو ثلاث أو تختفي مع خلط مختلف. سيستبدل القسم 4 التقسيمَ الواحد بالتحقق المتقاطع، الذي يخبرك كم تتذبذب النتيجة. وحتى ذلك الحين، عامِل الفجوات الصغيرة على أنها تعادل.
\nوالـ accuracy ليست الطريقة الوحيدة للمقارنة أيضًا. فالنموذج الذي يرتّب العملاء بحسب خطر انقطاعهم يستطيع أن يسلّم فريق التسويق أكثر 30 عميلًا مرجّحًا للانقطاع، وهذا ما لا تستطيعه قاعدة نعم/لا. يقيس القسم 3 ذلك بالضبط. لكن أولًا، يفتح القسم 2 أبسط نموذج على الإطلاق، الخط المستقيم، لترى ما معنى “التعلّم” بالأرقام.
\n","toc":[{"id":"sec-1","text":"أغبى نموذج ممكن","level":2},{"id":"sec-2","text":"القاعدة التي كان سيكتبها شخص ما","level":2},{"id":"sec-3","text":"خطوط الأساس في الانحدار","level":2},{"id":"sec-4","text":"التحسّن لا النتيجة","level":2}],"takeaways":["النتيجة لا تعني شيئًا حتى تقارنها بخط أساس (baseline) مبني على التقسيم نفسه.","يتنبأDummyClassifier بالفئة الأكثر شيوعًا ويتنبأ DummyRegressor بالمتوسط؛ وهما يحدّدان الحدّ الأدنى.","القاعدة البسيطة المضبوطة على بيانات التدريب هي خط الأساس الذي يُبقيك صادقًا بشأن ما إذا كان النموذج يستحق كلفته.","حين تهيمن فئة واحدة، تكافئ الـ accuracy تجاهلَ الفئة النادرة؛ فقد تعني نتيجة 95% أن النموذج لم يجد شيئًا."],"further":[{"title":"Dummy estimators","url":"https://scikit-learn.org/stable/modules/model_evaluation.html#dummy-estimators"},{"title":"DummyClassifier","url":"https://scikit-learn.org/stable/modules/generated/sklearn.dummy.DummyClassifier.html"}],"quiz":[{"q":"نموذج لكشف الاحتيال يحقق accuracy بنسبة 97%. ونسبة المعاملات الاحتيالية 3%. ما أول ما يجب أن تتحقق منه؟
","options":[{"text":"هل يتفوّق النموذج على نموذج وهمي يتنبأ بـ “ليس احتيالًا” لكل شيء.","why":"صحيح. هذا النموذج الوهمي يحقق 97% أيضًا، فربما لم يتعلّم النموذج شيئًا عن الاحتيال."},{"text":"هل 97% أعلى من متوسط القطاع لنماذج كشف الاحتيال.","why":"أرقام الشركات الأخرى تأتي من بيانات أخرى وتوازن فئات مختلف. المقارنة المهمة هي على تقسيمك أنت."},{"text":"هل دقة التدريب أيضًا في حدود 97%.","why":"مقارنة التدريب بالاختبار تكشف الـ overfitting، لكن قد تكون كلتاهما 97% بينما لا يلتقط النموذج حالة احتيال واحدة."}],"answer":0},{"q":"تستخدم قاعدة خط الأساس لديك حدًّا فاصلًا عند 80 يومًا. كيف كان يجب اختيار الرقم 80؟
","options":[{"text":"بتجربة عدة حدود والاحتفاظ بصاحب أفضل accuracy على بيانات الاختبار.","why":"هذا يضبط خط الأساس على بيانات الاختبار، فيبدو أفضل مما سيكون عليه مع بيانات جديدة، وهو الخطأ نفسه الذي يقع حين تضبط نموذجًا عليها."},{"text":"بتجربة عدة حدود على بيانات التدريب والاحتفاظ بالأفضل هناك.","why":"صحيح. يُعامَل خط الأساس معاملة النموذج نفسها؛ وبيانات الاختبار لا تقيس إلا النتيجة النهائية."},{"text":"لا يهم ذلك في خط الأساس، فخطوط الأساس لا تُطلق.","why":"القواعد كثيرًا ما تُطلق فعلًا، وخط الأساس المضبوط بشكل غير عادل يعطيك حكمًا خاطئًا حول ما إذا كان النموذج يستحق العناء."}],"answer":1},{"q":"يحقق DummyRegressor() على بيانات السكري قيمة R² قرابة 0 على بيانات الاختبار. لماذا؟
شجرة تتفوّق على النموذج الوهمي بـ 18 نقطة، لكنها تتفوّق على قاعدة من سطر واحد بنقطة واحدة. ما الخطوة التالية الأكثر قابلية للدفاع عنها؟
","options":[{"text":"أطلق الشجرة، فنتيجتها هي الأعلى.","why":"نقطة واحدة على 100 عميل اختبار تعني عميلًا واحدًا. هذا ليس دليلًا على أن الشجرة أفضل، والقاعدة أسهل في التشغيل والشرح."},{"text":"أعلن أن الشجرة أفضل من خط الأساس بـ 18 نقطة.","why":"ذكر أضعف خط أساس وحده يُخفي أن خيارًا أبسط بكثير يؤدي بالمستوى نفسه. وهذه هي المبالغة التي يحذّر منها هذا الدرس."},{"text":"أبقِ القاعدة معيارًا للمقارنة، ولا تنتقل إلا حين يتفوّق عليها نموذج بوضوح وبشكل متكرّر.","why":"صحيح. التحقق المتقاطع في القسم 4 يخبرك ما إذا كانت الفجوة حقيقية أم ضجيجًا."}],"answer":2}],"exercise":{"kind":"python","files":["churn.csv"],"starter":"import pandas as pd\nfrom sklearn.model_selection import train_test_split\nfrom sklearn.dummy import DummyClassifier\nfrom sklearn.neighbors import KNeighborsClassifier\n\nchurn = pd.read_csv(\"churn.csv\")\nfeatures = [\"tenure_days\", \"orders\", \"total_spent\", \"avg_order_value\",\n \"days_since_last_order\", \"used_coupon\", \"support_tickets\", \"mobile_share\"]\nX_train, X_test, y_train, y_test = train_test_split(\n churn[features], churn[\"churned\"], test_size=0.25, random_state=42,\n stratify=churn[\"churned\"])\n\n# 1. Majority-class baseline: test accuracy\ndummy_acc = None\n\n# 2. Rule baseline: churned if days_since_last_order > best_days.\n# Pick best_days from range(30, 301, 10) using the TRAINING data only.\nbest_days = None\nrule_acc = None # the rule's accuracy on the test data\n\n# 3. A k-nearest-neighbours model (default settings): test accuracy\nknn_acc = None\n","solution":"import pandas as pd\nfrom sklearn.model_selection import train_test_split\nfrom sklearn.dummy import DummyClassifier\nfrom sklearn.neighbors import KNeighborsClassifier\n\nchurn = pd.read_csv(\"churn.csv\")\nfeatures = [\"tenure_days\", \"orders\", \"total_spent\", \"avg_order_value\",\n \"days_since_last_order\", \"used_coupon\", \"support_tickets\", \"mobile_share\"]\nX_train, X_test, y_train, y_test = train_test_split(\n churn[features], churn[\"churned\"], test_size=0.25, random_state=42,\n stratify=churn[\"churned\"])\n\ndummy_acc = DummyClassifier(strategy=\"most_frequent\").fit(X_train, y_train).score(X_test, y_test)\n\ndef rule_accuracy(days, X, y):\n return ((X[\"days_since_last_order\"] > days).astype(int) == y).mean()\n\nbest_days = max(range(30, 301, 10), key=lambda d: rule_accuracy(d, X_train, y_train))\nrule_acc = rule_accuracy(best_days, X_test, y_test)\n\nknn_acc = KNeighborsClassifier().fit(X_train, y_train).score(X_test, y_test)\nprint(dummy_acc, best_days, rule_acc, knn_acc)\n","checks":[{"id":"dummy","test":"dummy_acc is not None and abs(float(dummy_acc) - 0.55) < 0.005"},{"id":"best-days","test":"best_days in range(30, 301, 10) and abs(((X_train['days_since_last_order'] > best_days).astype(int) == y_train).mean() - max(((X_train['days_since_last_order'] > d).astype(int) == y_train).mean() for d in range(30, 301, 10))) < 1e-9"},{"id":"rule-acc","test":"rule_acc is not None and abs(float(rule_acc) - ((X_test['days_since_last_order'] > best_days).astype(int) == y_test).mean()) < 1e-9"},{"id":"knn","test":"knn_acc is not None and abs(float(knn_acc) - 0.72) < 0.005"}],"title":"تفوّق على خطوط الأساس، أو لا","prompt":"ضع نموذج أقرب k جيران بجانب خطَّي الأساس على التقسيم نفسه.
\ndummy_acc: دقة نموذج DummyClassifier الذي يتنبأ بالفئة الأكثر شيوعًا على بيانات الاختبار.best_days: الحدّ الفاصل من range(30, 301, 10) الذي يعطي أفضل accuracy على بيانات التدريب للقاعدة “منقطع إذا كان days_since_last_order > الحدّ”. ثم rule_acc: دقة هذه القاعدة على بيانات الاختبار.knn_acc: دقة KNeighborsClassifier() بإعداداته الافتراضية على بيانات الاختبار.DummyClassifier(strategy="most_frequent").fit(X_train, y_train).score(X_test, y_test)","اكتب دالة مساعدة rule_accuracy(days, X, y) تقارن (X["days_since_last_order"] > days).astype(int) بـ y وتأخذ المتوسط.","max(range(30, 301, 10), key=lambda d: rule_accuracy(d, X_train, y_train)) تختار الحدّ الفاصل باستخدام بيانات التدريب وحدها."],"explanation":"يحقق النموذج الوهمي 0.55، وقاعدة الـ 80 يومًا 0.72، ونموذج k-NN قيمة 0.72. أقرب k جيران، بثمانية features، لا يؤدي أفضل من سطر منطقي واحد على عمود واحد. وهذه نتيجة حقيقية: إما أن الـ features الأخرى لا تحمل إشارة إضافية تُذكر، وإما أن هذا النموذج لا يستطيع الاستفادة منها (فـ k-NN يتشوّه بالـ features ذات المقاييس المتباعدة جدًا، وستصلح ذلك في القسم 2). واختيار الحدّ الفاصل على بيانات التدريب يُبقي المقارنة عادلة.
\n","checkLabels":{"dummy":"dummy_acc هي دقة الفئة الأكثر شيوعًا على بيانات الاختبار","best-days":"best_days هو أفضل حدّ فاصل على بيانات التدريب","rule-acc":"rule_acc هي دقة تلك القاعدة على بيانات الاختبار","knn":"knn_acc هي دقة نموذج k-NN على بيانات الاختبار"}},"words":601,"readMinutes":4}