سؤال رئيس النمو يحتاج أعمدة من أربعة جداول. الإيراد موجود في order_items. أما هل أُلغي الطلب ومتى قُدّم فمعلومتان في orders. وفئة المنتج في products، ودولة العميل في customers. في جدول البيانات كنت ستكتب صيغ بحث (lookup)؛ وفي pandas تستخدم الدمج (merge). عمليات الدمج هي المكان الذي تحدث فيه معظم الأخطاء الصامتة في التحليل، لذا يقضي هذا الدرس في فحص عملية الدمج وقتًا يساوي ما يقضيه في كتابتها.
import pandas as pd\n\nitems = pd.read_csv(\"order_items.csv\")\norders = pd.read_csv(\"orders.csv\", parse_dates=[\"order_date\"])\nitems[\"revenue\"] = items[\"quantity\"] * items[\"unit_price\"] * (1 - items[\"discount\"])\n\nlines = items.merge(orders, on=\"order_id\", how=\"left\", validate=\"many_to_one\")\nprint(len(items), \"->\", len(lines))\nprint(lines[[\"order_item_id\", \"order_id\", \"revenue\", \"order_date\", \"status\"]].head(3))لكل صف في الجدول الأيسر، تبحث pandas عن صف orders الذي له order_id نفسه، وتنسخ أعمدته إليه. بنود كثيرة تشير إلى طلب واحد، فالعلاقة كثير إلى واحد (many to one)، وvalidate="many_to_one" تطلب من pandas أن تتحقّق من ذلك: لو كان في orders صفان لمعرّف واحد، لأطلق الدمج الخطأ MergeError بدلًا من مضاعفة تلك البنود بهدوء. وعدد الصفوف قبل وبعد هو الفحص الثاني. الدمج الأيسر على مفتاح فريد لا يغيّره أبدًا.
الآن يستطيع الإيراد أخيرًا أن يحترم قاعدة العمل التي أجّلتها في الدرس 2.5: الطلبات الملغاة ليست إيرادًا.
\nimport pandas as pd\n\nitems = pd.read_csv(\"order_items.csv\")\norders = pd.read_csv(\"orders.csv\", parse_dates=[\"order_date\"])\nitems[\"revenue\"] = items[\"quantity\"] * items[\"unit_price\"] * (1 - items[\"discount\"])\nlines = items.merge(orders, on=\"order_id\", how=\"left\", validate=\"many_to_one\")\n\nkept = lines[lines[\"status\"] != \"cancelled\"]\nprint(round(kept[\"revenue\"].sum(), 2), \"revenue excluding cancelled orders\")446,666.32 دولارًا. هذا هو تعريف الإيراد في بقية الدورة: إيراد البنود بعد الخصومات، دون رسوم الشحن ودون الطلبات الملغاة. الطلبات المُرجَعة تبقى، لأن مبالغها المستردّة تُتتبَّع منفصلة في returns. اكتب تعريفات كهذه حيث يراها القرّاء؛ فالرقم الذي بلا تعريف يدعو إلى الجدال.
حين يكون للمفتاح اسم مختلف في كل طرف، سمِّ الاثنين: left_on="customer_id", right_on="referred_by" في دمج customers مع نفسه يطابق كل عميل بالأشخاص الذين أحالهم. واختر المفتاح الذي يحدّد ما تطابقه. المرتجعات تخصّ بنود الطلبات، فيُربط returns بـ order_items على order_item_id؛ أما ربطه على order_id فسيلحق كل مبلغ مسترد بكل بند في الطلب.
تقرّر how ما يحدث للمفاتيح الموجودة في طرف واحد فقط:
يحتفظ inner (القيمة الافتراضية) فقط بالمفاتيح الموجودة في الطرفين. ويحتفظ left بكل صف أيسر، ويملأ الأعمدة اليمنى بـ NaN حيث لا يوجد نظير. وright صورته المعكوسة، وouter يحتفظ بكل شيء. ولإضافة معلومات إلى جدول وقائع، مثل الطلبات أو البنود أو الجلسات، استخدم how="left" مع جدول الوقائع على اليسار: لن تفقد أبدًا واقعة لأن جدول البحث ناقص، وقيم NaN تبيّن لك بالضبط أين النقص.
تضيف indicator=True عمودًا اسمه _merge يسجّل من أين جاء كل صف:
import pandas as pd\n\ncustomers = pd.read_csv(\"customers.csv\")\norders = pd.read_csv(\"orders.csv\")\nbuyers = orders[[\"customer_id\"]].drop_duplicates()\n\ncheck = customers.merge(buyers, on=\"customer_id\", how=\"left\", indicator=True)\nprint(check[\"_merge\"].value_counts())\nnever_ordered = check[check[\"_merge\"] == \"left_only\"]\nprint(len(never_ordered), \"customers never ordered\")85 عميلًا سجّلوا ولم يشتروا شيئًا، وهو العدد نفسه الذي وجدته بـ nunique في الدرس 2.2، لكنه الآن قائمة أسماء تستطيع تسليمها لفريق التسويق. وindicator=True هي أيضًا أسرع تدقيق لأيّ عملية دمج: صفوف right_only مستحيلة في الربط الأيسر، والعدد المفاجئ من صفوف left_only يعني أن مفاتيح يُفترض أن تتطابق لا تتطابق، وكثيرًا ما يكون السبب الأنواع (int في طرف ونص في الآخر) أو مسافات لم تُحذف.
في order_items وproducts كليهما عمود unit_price: السعر المدفوع وسعر القائمة. تضيف pandas لاحقتين (suffixes) للتمييز بينهما، وتستطيع اختيارهما:
import pandas as pd\n\nitems = pd.read_csv(\"order_items.csv\")\norders = pd.read_csv(\"orders.csv\", parse_dates=[\"order_date\"])\nproducts = pd.read_csv(\"products.csv\")\n\nlines = (\n items.merge(orders[[\"order_id\", \"order_date\"]], on=\"order_id\", validate=\"many_to_one\")\n .merge(products[[\"product_id\", \"name\", \"unit_price\"]], on=\"product_id\",\n suffixes=(\"_charged\", \"_list\"), validate=\"many_to_one\")\n)\nlines[\"price_ratio\"] = (lines[\"unit_price_charged\"] / lines[\"unit_price_list\"]).round(2)\nprint(lines.groupby(lines[\"order_date\"] >= \"2025-03-01\")[\"price_ratio\"].agg([\"min\", \"max\"]))قبل مارس 2025، كان كل بند يُباع بسعر القائمة بالضبط؛ ومن 1 مارس، صار كل بند يُباع بزيادة 5%. لقد أكّد الدمج للتو زيادة الأسعار من البيانات وحدها، وهي أحد المشتبه بهم في قفزة إيراد الربع الرابع.
\n\nفي التمرين تبني الجدول الكامل على مستوى البنود الذي تحلّله بقية الدورة. وفي الدرس التالي تعيد تشكيل الجداول بين الصيغتين العريضة والطويلة باستخدام pivot_table وmelt.
left.merge(right, on="key", how=...) تدمج الجداول بمطابقة قيم المفتاح؛ وhow تقرّر ما يحدث للصفوف التي لا مطابق لها.","how="left" تحتفظ بكل صف في الجدول الأيسر، وهي الخيار الافتراضي الآمن لإضافة أعمدة إلى جدول وقائع (fact table).","مرّر validate="many_to_one" (أو "one_to_one") كي تُطلق pandas الخطأ MergeError إذا لم تكن مفاتيح الجدول الأيمن فريدة، بدلًا من مضاعفة الصفوف بصمت.","قارن len() قبل كل عملية دمج وبعدها؛ فالدمج الأيسر على مفتاح فريد لا يغيّر عدد الصفوف أبدًا.","تضيف indicator=True عمودًا اسمه _merge (both أو left_only أو right_only) يبيّن أيّ الصفوف وجدت نظيرًا."],"further":[{"title":"Merge, join, concatenate and compare","url":"https://pandas.pydata.org/docs/user_guide/merging.html"},{"title":"pandas.DataFrame.merge","url":"https://pandas.pydata.org/docs/reference/api/pandas.DataFrame.merge.html"}],"quiz":[{"q":"دمجت order_items (3,991 صفًا) دمجًا أيسر مع orders على order_id. كم صفًا يجب أن يكون في النتيجة؟
how="left"، يحافظ على عدد صفوف الجدول الأيسر. وvalidate="many_to_one" تضمن ذلك."}],"answer":3},{"q":"أيّ عملية دمج تجد العملاء الذين لم يقدّموا أي طلب؟
","options":[{"text":"customers.merge(orders, on="customer_id", how="inner")","why":"الربط الداخلي (inner join) لا يحتفظ إلا بالعملاء الذين لديهم طلب واحد على الأقل، وهذا عكس ما تريده."},{"text":"customers.merge(orders, on="customer_id", how="left", indicator=True)، ثم احتفظ بـ _merge == "left_only"","why":"صحيح. الربط الأيسر يحتفظ بكل العملاء، وleft_only تحدّد من ليس لهم طلب مطابق. وهذا يجد 85 عميلًا."},{"text":"orders.merge(customers, on="customer_id", how="left")","why":"حين تكون الطلبات على اليسار، يكون كل صف طلبًا، فلا يظهر العملاء الذين ليس لهم طلبات أبدًا."}],"answer":1},{"q":"تعيد orders.merge(tickets, on="customer_id") 6,624 صفًا من 2,066 طلبًا و873 تذكرة. ما الذي حدث؟
customer_id يتكرّر في الطرفين، فاقترن كل طلب لعميل بكل تذكرة لذلك العميل.","why":"صحيح. هذا ربط كثير إلى كثير (many-to-many). كانت validate="many_to_one" ستُطلق خطأً؛ اربط التذاكر بالطلبات على order_id بدلًا من ذلك."},{"text":"أضافت pandas صفوفًا فارغة للتذاكر التي ليس لها طلبات.","why":"القيمة الافتراضية how="inner" لا تضيف أي صفوف غير مطابقة إطلاقًا."},{"text":"ألحق الدمج الجدولين أحدهما تحت الآخر.","why":"هذا ما تفعله pd.concat. أما الدمج فيطابق الصفوف جنبًا إلى جنب."}],"answer":0}],"exercise":{"kind":"python","files":["order_items.csv","orders.csv","products.csv","customers.csv"],"starter":"import pandas as pd\n\nitems = pd.read_csv(\"order_items.csv\")\norders = pd.read_csv(\"orders.csv\", parse_dates=[\"order_date\"])\nproducts = pd.read_csv(\"products.csv\")\ncustomers = pd.read_csv(\"customers.csv\")\nitems[\"revenue\"] = items[\"quantity\"] * items[\"unit_price\"] * (1 - items[\"discount\"])\n\n# 1. sales: every item line with its order's columns, the product name (as \"product\"),\n# and the customer's country. Use left merges with validate=\"many_to_one\".\n# Then drop the lines of cancelled orders.\nsales = None\n\n# 2. Revenue by country, a Series sorted from highest to lowest\nrevenue_by_country = None\n","solution":"import pandas as pd\n\nitems = pd.read_csv(\"order_items.csv\")\norders = pd.read_csv(\"orders.csv\", parse_dates=[\"order_date\"])\nproducts = pd.read_csv(\"products.csv\")\ncustomers = pd.read_csv(\"customers.csv\")\nitems[\"revenue\"] = items[\"quantity\"] * items[\"unit_price\"] * (1 - items[\"discount\"])\n\nsales = (\n items.merge(orders, on=\"order_id\", how=\"left\", validate=\"many_to_one\")\n .merge(products[[\"product_id\", \"name\"]].rename(columns={\"name\": \"product\"}),\n on=\"product_id\", how=\"left\", validate=\"many_to_one\")\n .merge(customers[[\"customer_id\", \"country\"]], on=\"customer_id\", how=\"left\", validate=\"many_to_one\")\n)\nprint(len(sales))\nsales = sales[sales[\"status\"] != \"cancelled\"]\n\nrevenue_by_country = sales.groupby(\"country\")[\"revenue\"].sum().sort_values(ascending=False)\nprint(revenue_by_country.round(2))\n","checks":[{"id":"columns","test":"isinstance(sales, pd.DataFrame) and {'revenue', 'order_date', 'status', 'product', 'country'} <= set(sales.columns)"},{"id":"no-cancelled","test":"(sales['status'] != 'cancelled').all()"},{"id":"row-count","test":"len(sales) == int((items['order_id'].map(orders.set_index('order_id')['status']) != 'cancelled').sum())"},{"id":"revenue-total","test":"round(float(sales['revenue'].sum()), 2) == 446666.32"},{"id":"by-country","test":"isinstance(revenue_by_country, pd.Series) and revenue_by_country.index[0] == 'United Arab Emirates' and abs(float(revenue_by_country.iloc[0]) - 74531.8) < 0.01 and revenue_by_country.is_monotonic_decreasing"}],"title":"ابنِ جدول المبيعات","prompt":"ابنِ sales: كل صف من items، مع أعمدة طلبه من orders، وname الخاص بالمنتج بعد إعادة تسميته إلى product، وcountry الخاص بالعميل. استخدم عمليات دمج يسرى مع validate="many_to_one"، ثم احذف بنود الطلبات الملغاة. بعد ذلك اجعل revenue_by_country إجمالي الإيراد لكل دولة على هيئة Series، مرتّبة من الأعلى إلى الأدنى.
items.merge(orders, on="order_id", how="left", validate="many_to_one")، ثم المنتجات على product_id، ثم العملاء على customer_id.","اختر فقط الأعمدة التي تحتاجها من جداول البحث، مثل products[["product_id", "name"]].rename(columns={"name": "product"})، كي لا تستورد أسماء متعارضة مثل unit_price.","صفِّ بـ sales[sales["status"] != "cancelled"]، ثم groupby("country")["revenue"].sum().sort_values(ascending=False)."],"explanation":"كل عملية دمج تضيف أعمدة دون تغيير عدد الصفوف، لأن لكل بند طلبًا واحدًا ومنتجًا واحدًا وعميلًا واحدًا بالضبط، وهذا ما تضمنه validate="many_to_one". اختيار أعمدة البحث التي تحتاجها فقط يُبقي الجدول مرتّبًا ويتجنّب اللاحقتين _x/_y. بعد حذف الطلبات الملغاة يصبح الإيراد 446,666.32 دولارًا، وهو تعريف الإيراد في الدورة. تتصدّر الإمارات بـ 74,531.80 دولارًا، متقدّمة قليلًا على المملكة المتحدة، مع أن لدى الولايات المتحدة عملاء أكثر: أول إشارة إلى أن الإيراد لكل عميل يختلف من دولة إلى أخرى.
sales أعمدة الإيراد والطلب والمنتج والدولة","no-cancelled":"لم تبقَ أي طلبات ملغاة","row-count":"كل بند من الطلبات غير الملغاة موجود مرة واحدة بالضبط","revenue-total":"إجمالي الإيراد 446,666.32","by-country":"revenue_by_country مرتّبة، والإمارات أولًا بـ 74,531.80"}},"words":588,"readMinutes":3}