المدير لا يريد 3,991 صفًا. يريد شبكة: القنوات على الجانب، والأرباع في الأعلى، والإيراد في الخلايا. وفريق المالية يرسل الأهداف بالطريقة نفسها، عمود لكل ربع. أما تحليلك فيعمل أفضل على الجداول الطويلة التي فيها صف لكل ملاحظة، لأن groupby وmerge والتصفية كلها تتوقّع هذا الشكل. إعادة التشكيل تنقل البيانات بين الصيغتين، وهي آخر مهارة أساسية قبل أن تبدأ الإجابة عن الأسئلة بجدّية.
ابدأ من جدول المبيعات الذي بنيته في الدرس 4.2 (أُعيد بناؤه هنا في بضعة أسطر)، واطلب الإيراد بحسب القناة والسنة:
\nimport pandas as pd\n\nitems = pd.read_csv(\"order_items.csv\")\norders = pd.read_csv(\"orders.csv\", parse_dates=[\"order_date\"])\nitems[\"revenue\"] = items[\"quantity\"] * items[\"unit_price\"] * (1 - items[\"discount\"])\nsales = items.merge(orders, on=\"order_id\", how=\"left\", validate=\"many_to_one\")\nsales = sales[sales[\"status\"] != \"cancelled\"]\nsales = sales.assign(year=sales[\"order_date\"].dt.year, quarter=sales[\"order_date\"].dt.quarter)\n\ntable = sales.pivot_table(index=\"channel\", columns=\"year\", values=\"revenue\",\n aggfunc=\"sum\", margins=True, margins_name=\"Total\")\nprint(table.round(0))كل وسيط يقابل جزءًا من الجدول المحوري (pivot table) في جداول البيانات: index هو الصفوف، وcolumns الأعمدة، وvalues الحقل، وaggfunc دالة التلخيص. تضيف margins=True صف المجاميع وعمودها، وهما يؤكّدان النتيجة: 446,666 دولارًا إجمالًا، وهو تعريف الإيراد من الدرس السابق. نما الإيراد في كل قناة من 2024 إلى 2025، وتضاعف الويب نحو ثلاث مرات.
pivot_table هي الحساب نفسه الذي تجريه groupby(["channel", "year"])["revenue"].sum().unstack(). استخدم groupby حين ستواصل الحساب، وpivot_table حين تكون الشبكة نفسها هي المُخرج. ولعدّ الطلبات المختلفة، غيّر دالة التجميع: values="order_id", aggfunc="nunique". وتستبدل fill_value=0 قيم NaN في الخلايا الفارغة حين يكون الصفر هو الإجابة الصادقة، كما في “لا مبيعات في هذه الخلية”.
شبكة المبالغ تستدعي السؤال التالي: كيف تغيّر المزيج؟ اقسم كل عمود على مجموعه، فتعرض الشبكة الحصص بدلًا من المبالغ. تعيد by_year.sum() مجموعًا لكل عمود، وقسمة DataFrame على تلك الـ Series تحاذي كل مجموع مع عموده بحسب التسمية، وهي قاعدة المحاذاة نفسها التي قابلتها مع Series وأخرى في الدرس 2.1. ولقسمة كل صف على مجموع صفّه بدلًا من ذلك، استخدم by_year.div(by_year.sum(axis=1), axis=0).
import pandas as pd\n\nitems = pd.read_csv(\"order_items.csv\")\norders = pd.read_csv(\"orders.csv\", parse_dates=[\"order_date\"])\nitems[\"revenue\"] = items[\"quantity\"] * items[\"unit_price\"] * (1 - items[\"discount\"])\nsales = items.merge(orders, on=\"order_id\", how=\"left\", validate=\"many_to_one\")\nsales = sales[sales[\"status\"] != \"cancelled\"]\n\nby_year = sales.pivot_table(index=\"channel\", columns=sales[\"order_date\"].dt.year,\n values=\"revenue\", aggfunc=\"sum\")\nprint((by_year / by_year.sum()).round(3))ارتفعت حصة الويب من الإيراد من 53% في 2024 إلى 59% في 2025، بينما انخفضت حصة التطبيق من 35% إلى 31%. المبالغ تخبرك أن كل شيء نما؛ والحصص تخبرك أين تركّز النمو. أبلغ عن الاثنين، لأن كلًّا منهما يخفي ما يُظهره الآخر.
\n\nلعمودين فئويين، تعدّ pd.crosstab التركيبات، وتحوّل normalize الأعداد إلى حصص. هذه زيارات موقع Cartwheel:
import pandas as pd\n\nsessions = pd.read_csv(\"web_sessions.csv\")\nprint(pd.crosstab(sessions[\"source\"], sessions[\"device\"]))\nprint(pd.crosstab(sessions[\"device\"], sessions[\"purchased\"], normalize=\"index\").round(3))الجدول الثاني يجيب عن سؤال حقيقي. تجعل normalize="index" مجموع كل صف 1، فيكون العمود 1 معدّل الشراء لكل جهاز: 12.4% من جلسات الحاسوب المكتبي تنتهي بشراء، لكن 6.7% فقط من جلسات الهاتف، مع أن الهاتف يجلب أكبر قدر من الزيارات. هذه الفجوة تستحق حديثًا مع المسؤول عن صفحة الدفع على الهاتف. اختر التطبيع بحسب السؤال: "index" للمعدّلات داخل كل مجموعة صفوف، و"columns" لتركيبة كل عمود، و"all" للحصص من المجموع الكلي.
تصل أهداف فريق المالية لعام 2025 كجدول بيانات، عمود لكل ربع. لمقارنتها بالإيراد الفعلي تحتاجها طويلة، صف لكل قناة وربع، كي يمكن دمجها:
\nimport pandas as pd\n\ntargets = pd.DataFrame({\n \"channel\": [\"marketplace\", \"mobile_app\", \"web\"],\n \"Q1\": [5000, 15000, 28000],\n \"Q2\": [5000, 16000, 30000],\n \"Q3\": [6000, 20000, 40000],\n \"Q4\": [9000, 30000, 60000],\n})\nlong = targets.melt(id_vars=\"channel\", var_name=\"quarter\", value_name=\"target\")\nlong[\"quarter\"] = long[\"quarter\"].str[1].astype(int)\nprint(long.head(6))\nprint(long.shape)id_vars هي الأعمدة التي تحدّد الصف وتبقى كما هي؛ وكل عمود آخر يصبح زوجًا من القيم في عمودين جديدين، اسم العمود القديم في var_name وقيمته في value_name. ثلاثة صفوف في أربعة أرباع تعطي اثني عشر. تأخذ str[1] الحرف الثاني من "Q1"، فيصبح الربع رقمًا يطابق sales["quarter"]، جاهزًا لعملية دمج مثل التي في الدرس 4.2.
في التمرين تبني شبكة الأرباع لعام 2025 وتفحص الأداء مقابل تلك الأهداف. وبعدها يأتي الزمن نفسه: إعادة التجميع الزمني، والفترات، ومعدّلات النمو.
\n","toc":[{"id":"sec-1","text":"الجدول المحوري pivot_table: لخّص وأعِد التشكيل معًا","level":2},{"id":"sec-2","text":"من المبالغ إلى الحصص","level":3},{"id":"sec-3","text":"crosstab: الأعداد والمعدّلات","level":2},{"id":"sec-4","text":"melt: من العريض إلى الطويل من جديد","level":2}],"takeaways":["البيانات الطويلة فيها صف لكل ملاحظة؛ والبيانات العريضة تنشر متغيّرًا واحدًا عبر الأعمدة. تحلّل pandas البيانات الطويلة أفضل، ويقرأ الناس الجداول العريضة أفضل.","pivot_table(index=..., columns=..., values=..., aggfunc="sum") تجمّع وتعيد التشكيل في خطوة واحدة، مثل الجدول المحوري في جداول البيانات.","pivot تعيد التشكيل فقط؛ وتُطلق ValueError: Index contains duplicate entries حين تتشارك عدة صفوف خلية واحدة، فاستخدم pivot_table للبيانات الخام.","pd.crosstab(a, b, normalize="index") تحوّل عمودين إلى نِسَب مئوية لكل صف، وهي أسرع طريقة لمقارنة المعدّلات بين المجموعات.","melt(id_vars=..., var_name=..., value_name=...) تعيد الأعمدة العريضة مثل Q1…Q4 إلى صفوف."],"further":[{"title":"Reshaping and pivot tables","url":"https://pandas.pydata.org/docs/user_guide/reshaping.html"},{"title":"pandas.DataFrame.pivot_table","url":"https://pandas.pydata.org/docs/reference/api/pandas.DataFrame.pivot_table.html"},{"title":"pandas.melt","url":"https://pandas.pydata.org/docs/reference/api/pandas.melt.html"}],"quiz":[{"q":"تُطلق sales.pivot(index="quarter", columns="channel", values="revenue") الخطأ ValueError: Index contains duplicate entries, cannot reshape. ما الإصلاح؟
sales بحسب الربع أولًا.","why":"الترتيب ليس المشكلة؛ بنود كثيرة تتشارك الربع والقناة نفسيهما، وليس لدى pivot قاعدة لدمجها."},{"text":"احذف الصفوف المكرّرة بـ drop_duplicates().","why":"الصفوف بنود طلبات مختلفة، لا مكرّرات. حذفها سيمحو إيرادًا حقيقيًا."},{"text":"حوّل quarter إلى نص.","why":"نوع المفتاح لا علاقة له؛ المشكلة هي وجود عدة قيم في الخلية الواحدة."},{"text":"استخدم pivot_table مع aggfunc="sum"، التي تدمج القيم التي تقع في الخلية نفسها.","why":"صحيح. تجمّع pivot_table أولًا ثم تعيد التشكيل. أما pivot فلا تعمل إلا حين يظهر كل زوج من الفهرس والعمود مرة واحدة."}],"answer":3},{"q":"في جدول المالية الأعمدة channel, Q1, Q2, Q3, Q4. أيّ استدعاء يجعل صفًا لكل قناة وربع؟
targets.melt(id_vars="channel", var_name="quarter", value_name="target")","why":"صحيح. يبقى channel معرّفًا، وتصبح أعمدة الأرباع الأربعة صفوفًا، أسماؤها في quarter وقيمها في target."},{"text":"targets.pivot_table(index="channel")","why":"الجدول عريض أصلًا بحسب الربع؛ وإعادة التشكيل المحوري لن تنقل أعمدة الأرباع إلى صفوف."},{"text":"targets.T","why":"المنقول (transpose) يبدّل الصفوف والأعمدة، فتصبح القنوات أعمدة، وهذا ما زال عريضًا."}],"answer":0},{"q":"تعرض pd.crosstab(sessions["device"], sessions["purchased"], normalize="index") القيمة 0.067 في صف mobile والعمود 1. ماذا تعني؟
normalize="columns". أما مع "index" فمجموع كل صف يساوي 1."},{"text":"6.7% من جلسات الهاتف انتهت بعملية شراء.","why":"صحيح. التطبيع بحسب الفهرس يقسم كل عدد على مجموع صفّه، فتكون القيمة معدّل التحويل داخل جلسات الهاتف."},{"text":"للهاتف 6.7% من كل الجلسات.","why":"حصة الجلسات بحسب الجهاز تأتي من value_counts(normalize=True) على device."}],"answer":1}],"exercise":{"kind":"python","files":["order_items.csv","orders.csv"],"starter":"import pandas as pd\n\nitems = pd.read_csv(\"order_items.csv\")\norders = pd.read_csv(\"orders.csv\", parse_dates=[\"order_date\"])\nitems[\"revenue\"] = items[\"quantity\"] * items[\"unit_price\"] * (1 - items[\"discount\"])\nsales = items.merge(orders, on=\"order_id\", how=\"left\", validate=\"many_to_one\")\nsales = sales[sales[\"status\"] != \"cancelled\"]\nsales = sales.assign(year=sales[\"order_date\"].dt.year, quarter=sales[\"order_date\"].dt.quarter)\nsales_2025 = sales[sales[\"year\"] == 2025]\n\ntargets = pd.DataFrame({\n \"channel\": [\"marketplace\", \"mobile_app\", \"web\"],\n \"Q1\": [5000, 15000, 28000],\n \"Q2\": [5000, 16000, 30000],\n \"Q3\": [6000, 20000, 40000],\n \"Q4\": [9000, 30000, 60000],\n})\n\n# 1. grid: 2025 revenue with quarters (1-4) as rows and channels as columns\ngrid = None\n\n# 2. targets_long: columns channel, quarter (int 1-4), target - 12 rows\ntargets_long = None\n\n# 3. vs_target: targets_long with an added \"revenue\" column (actual 2025 revenue\n# for that channel and quarter)\nvs_target = None\n\n# 4. Number of channel-quarters where revenue reached the target\nbeat = None\n","solution":"import pandas as pd\n\nitems = pd.read_csv(\"order_items.csv\")\norders = pd.read_csv(\"orders.csv\", parse_dates=[\"order_date\"])\nitems[\"revenue\"] = items[\"quantity\"] * items[\"unit_price\"] * (1 - items[\"discount\"])\nsales = items.merge(orders, on=\"order_id\", how=\"left\", validate=\"many_to_one\")\nsales = sales[sales[\"status\"] != \"cancelled\"]\nsales = sales.assign(year=sales[\"order_date\"].dt.year, quarter=sales[\"order_date\"].dt.quarter)\nsales_2025 = sales[sales[\"year\"] == 2025]\n\ntargets = pd.DataFrame({\n \"channel\": [\"marketplace\", \"mobile_app\", \"web\"],\n \"Q1\": [5000, 15000, 28000],\n \"Q2\": [5000, 16000, 30000],\n \"Q3\": [6000, 20000, 40000],\n \"Q4\": [9000, 30000, 60000],\n})\n\ngrid = sales_2025.pivot_table(index=\"quarter\", columns=\"channel\", values=\"revenue\", aggfunc=\"sum\")\n\ntargets_long = targets.melt(id_vars=\"channel\", var_name=\"quarter\", value_name=\"target\")\ntargets_long[\"quarter\"] = targets_long[\"quarter\"].str[1].astype(int)\n\nactual = sales_2025.groupby([\"channel\", \"quarter\"], as_index=False)[\"revenue\"].sum()\nvs_target = targets_long.merge(actual, on=[\"channel\", \"quarter\"], how=\"left\", validate=\"one_to_one\")\n\nbeat = int((vs_target[\"revenue\"] >= vs_target[\"target\"]).sum())\nprint(grid.round(0))\nprint(vs_target.round(0))\n","checks":[{"id":"grid","test":"isinstance(grid, pd.DataFrame) and grid.shape == (4, 3) and abs(float(grid.loc[4, 'web']) - 87530) < 1"},{"id":"long","test":"isinstance(targets_long, pd.DataFrame) and len(targets_long) == 12 and {'channel', 'quarter', 'target'} <= set(targets_long.columns) and sorted(set(targets_long['quarter'].tolist())) == [1, 2, 3, 4]"},{"id":"vs-target","test":"isinstance(vs_target, pd.DataFrame) and len(vs_target) == 12 and abs(float(vs_target['revenue'].sum()) - 326808) < 1"},{"id":"beat","test":"int(beat) == 8"}],"title":"عام 2025 مقابل الهدف","prompt":"يحتوي sales_2025 على بنود 2025 غير الملغاة، مع العمودين quarter وchannel، وtargets هو جدول فريق المالية العريض. ابنِ grid، جدولًا محوريًا للإيراد فيه الأرباع من 1 إلى 4 صفوف والقنوات أعمدة. حوّل targets بـ melt إلى targets_long بالأعمدة channel وquarter (عدد صحيح من 1 إلى 4) وtarget. ثم أنشئ vs_target: هو targets_long مع عمود revenue فيه الإيراد الفعلي لكل قناة وربع. وأخيرًا اجعل beat عدد الصفوف التي بلغ فيها الإيراد الهدف.
sales_2025.pivot_table(index="quarter", columns="channel", values="revenue", aggfunc="sum").","targets.melt(id_vars="channel", var_name="quarter", value_name="target")، ثم حوّل "Q1" إلى 1 بـ .str[1].astype(int).","جمّع القيم الفعلية إلى مستوى التفصيل نفسه بـ groupby(["channel", "quarter"], as_index=False)["revenue"].sum()، وادمج على المفتاحين، وعُدّ (vs_target["revenue"] >= vs_target["target"]).sum()."],"explanation":"الشبكة للناس؛ والجدول الطويل للحساب. تحويل الأهداف بـ melt وتجميع القيم الفعلية إلى مستوى التفصيل نفسه (صف لكل قناة وربع) يجعل المقارنة عملية دمج بسيطة على مفتاحين، وتؤكّد validate="one_to_one" أن كل هدف قابل قيمة فعلية واحدة بالضبط. حقّقت Cartwheel ثمانية أهداف من 12، وجاءت الإخفاقات الأربعة كلها في النصف الأول من السنة، ثم تجاوزت أهداف الربع الرابع في كل مكان بفارق كبير: إيراد الويب في الربع الرابع كان 87,530 دولارًا مقابل هدف قدره 60,000. دليل آخر على أن شيئًا غير معتاد حدث في الربع الرابع.
grid بحجم 4 أرباع × 3 قنوات، والويب في الربع الرابع نحو 87,530","long":"في targets_long 12 صفًا والأرباع أعداد صحيحة","vs-target":"في vs_target 12 صفًا وإيراد فعلي مجموعه يساوي إجمالي 2025","beat":"beat يساوي 8"}},"words":616,"readMinutes":4}